基于Web的化工專(zhuān)業(yè)信息檢索技術(shù)的研究與應(yīng)用.pdf

1、隨著Internet技術(shù)和應(yīng)用的不斷發(fā)展，Web頁(yè)面的數(shù)目飛速增長(zhǎng)。搜索引擎所面對(duì)的數(shù)據(jù)也呈指數(shù)上升?，F(xiàn)有的通用搜索引擎都是面向綜合信息的，對(duì)于化工專(zhuān)業(yè)領(lǐng)域的人員來(lái)說(shuō)，查詢(xún)化工學(xué)科的網(wǎng)絡(luò)信息如果沒(méi)有優(yōu)秀的專(zhuān)業(yè)檢索工具，沒(méi)有體現(xiàn)化工學(xué)科獨(dú)特的詞匯和用語(yǔ)以及相應(yīng)的標(biāo)引和檢索語(yǔ)言，檢索結(jié)果就不可能理想。而現(xiàn)有的化工專(zhuān)業(yè)檢索工具無(wú)論是數(shù)量和還是質(zhì)量都無(wú)法滿(mǎn)足眾多專(zhuān)業(yè)用戶(hù)的需要。因此，研究化工專(zhuān)業(yè)信息檢索方法和技術(shù)，建立高效的化工專(zhuān)業(yè)信息檢索系統(tǒng)

2、，為化工專(zhuān)業(yè)人員提供方便快捷的檢索服務(wù)具有十分重要的理論意義和應(yīng)用價(jià)值。
　　 本文針對(duì)網(wǎng)絡(luò)上的化工專(zhuān)業(yè)信息資源特點(diǎn)進(jìn)行分析，研究面向化工學(xué)科的信息檢索方法和技術(shù)，設(shè)計(jì)并開(kāi)發(fā)具有化工專(zhuān)業(yè)特點(diǎn)的信息檢索系統(tǒng)。
　　 搜索引擎是一項(xiàng)融入了多項(xiàng)技術(shù)的網(wǎng)絡(luò)信息檢索系統(tǒng)，它涉及到專(zhuān)業(yè)網(wǎng)絡(luò)信息的獲取技術(shù)、多種信息格式的轉(zhuǎn)換技術(shù)、海量信息的索引技術(shù)、信息檢索技術(shù)、文獻(xiàn)摘要自動(dòng)生成技術(shù)、網(wǎng)頁(yè)排序技術(shù)、中文分詞等多項(xiàng)信息處理技術(shù)。本文在對(duì)

3、上述核心技術(shù)進(jìn)行深入研究、分析的基礎(chǔ)上，設(shè)計(jì)了一整套適用于化工專(zhuān)業(yè)搜索引擎的技術(shù)方案，并在系統(tǒng)開(kāi)發(fā)中得以實(shí)施。
　　 最豐富的化工專(zhuān)業(yè)網(wǎng)絡(luò)信息資源是網(wǎng)頁(yè)。自動(dòng)獲取化工專(zhuān)業(yè)網(wǎng)頁(yè)是化工專(zhuān)業(yè)搜索引擎核心的技術(shù)。本文提出了通過(guò)統(tǒng)計(jì)化工專(zhuān)業(yè)詞匯的密度進(jìn)行網(wǎng)站相關(guān)性評(píng)價(jià)，從而確定化工專(zhuān)業(yè)站點(diǎn)的SiteRank，并結(jié)合站點(diǎn)內(nèi)部的鏈接分析，保證了化工專(zhuān)業(yè)網(wǎng)頁(yè)的定向獲取。
　　 另一種化工專(zhuān)業(yè)網(wǎng)絡(luò)信息資源是專(zhuān)業(yè)數(shù)據(jù)庫(kù)。通常網(wǎng)絡(luò)數(shù)據(jù)庫(kù)信息以

4、動(dòng)態(tài)網(wǎng)頁(yè)形式出現(xiàn)，屬于網(wǎng)絡(luò)中的深層信息，必須通過(guò)提交查詢(xún)才能獲得。通過(guò)分析HTML結(jié)構(gòu)標(biāo)記并建立Tag Tree，本文提出了將網(wǎng)頁(yè)結(jié)構(gòu)對(duì)比分析和頁(yè)面內(nèi)容對(duì)比過(guò)濾相結(jié)合的數(shù)據(jù)提取方案，并對(duì)化工物性數(shù)據(jù)庫(kù)進(jìn)行了測(cè)試，成功地進(jìn)行了數(shù)據(jù)提取，為下一步嘗試建立化工數(shù)據(jù)庫(kù)搜索引擎奠定了基礎(chǔ)。
　　 中文分詞算法是中文信息處理的基礎(chǔ)，是人們長(zhǎng)期研究的熱點(diǎn)問(wèn)題。針對(duì)化工專(zhuān)業(yè)詞匯的特點(diǎn)，本文改進(jìn)了最短路徑分詞算法，通過(guò)選取最佳路徑，消除了部分歧義

5、。改進(jìn)后的分詞算法復(fù)雜度并未增加，分詞的準(zhǔn)確性有了一定提高。
　　 對(duì)于大量化工專(zhuān)業(yè)網(wǎng)頁(yè)的索引，系統(tǒng)利用了開(kāi)放源代碼的Lucene索引系統(tǒng)。在對(duì)Lucene系統(tǒng)代碼深入剖析的基礎(chǔ)上，詳細(xì)研究了Lucene的結(jié)構(gòu)框架、文件結(jié)構(gòu)和類(lèi)型及索引過(guò)程，設(shè)計(jì)了利用Lucene索引系統(tǒng)建立化工專(zhuān)業(yè)網(wǎng)頁(yè)索引的實(shí)施方案，通過(guò)對(duì)原代碼的改進(jìn)和補(bǔ)充，實(shí)現(xiàn)了化工專(zhuān)業(yè)網(wǎng)頁(yè)的批量索引和增量索引。
　　 在化工專(zhuān)業(yè)信息檢索方面，針對(duì)化工專(zhuān)業(yè)術(shù)語(yǔ)的特點(diǎn)

6、提出了同義詞的檢索方案，設(shè)計(jì)了適合同義詞檢索的詞典，實(shí)現(xiàn)了化工專(zhuān)業(yè)搜索引擎的擴(kuò)展檢索。此外設(shè)計(jì)了基于關(guān)鍵詞詞頻和位置的網(wǎng)頁(yè)排序算法及自動(dòng)摘要生成算法。本文提出的算法形式簡(jiǎn)單、運(yùn)算速度快，突出了化工專(zhuān)業(yè)性，在化工專(zhuān)業(yè)搜索引擎中得到了很好的應(yīng)用。
　　 最后，本文對(duì)化工專(zhuān)業(yè)搜索引擎系統(tǒng)的總體結(jié)構(gòu)進(jìn)行了詳細(xì)介紹。該系統(tǒng)共有數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析系統(tǒng)、網(wǎng)頁(yè)索引系統(tǒng)和檢索系統(tǒng)四部分組成。本文對(duì)每個(gè)系統(tǒng)內(nèi)部及系統(tǒng)之間的聯(lián)系進(jìn)行了詳細(xì)設(shè)計(jì)，并