基于本體的面向股票領(lǐng)域搜索引擎的實現(xiàn)技術(shù)研究.pdf

1、當(dāng)今互聯(lián)網(wǎng)搜索引擎主要分為通用搜索引擎和面向領(lǐng)域的搜索引擎(也稱為垂直搜索引擎)，而后者又成為搜索引擎技術(shù)發(fā)展的一大趨勢。因為在某些用戶有特定要求的領(lǐng)域，通用搜索引擎存在著許多弊端，比如索引內(nèi)容無法覆蓋某一特定領(lǐng)域，海量存儲不利于索引內(nèi)容的實時更新等等。這些都需要在面向領(lǐng)域的搜索引擎中加以解決。 本文首先深入介紹了通用搜索引擎的基本原理，結(jié)構(gòu)和工作機(jī)制。在此基礎(chǔ)上闡釋了目前面向領(lǐng)域的開源搜索引擎中比較流行的Lucene技術(shù)，這項

2、技術(shù)也是本文其他部分實現(xiàn)的基礎(chǔ)。 在數(shù)據(jù)采集方面針對通用搜索引擎網(wǎng)絡(luò)爬行器(Crawler)在專業(yè)性數(shù)據(jù)采集上能力不強(qiáng)的弊端，設(shè)計實現(xiàn)了面向領(lǐng)域的聚焦網(wǎng)絡(luò)爬行器(Focus Crawler)，有效地改善了面向領(lǐng)域的搜索引擎的效率。 然后介紹了網(wǎng)頁數(shù)據(jù)抽取技術(shù)的基本原理并實現(xiàn)了基于統(tǒng)計的網(wǎng)頁正文信息抽取方法。通過對若干股票類網(wǎng)站的網(wǎng)頁分析，可以得出該方法在具有通用性的同時，保持了較高的準(zhǔn)確性，其準(zhǔn)確率可以達(dá)到90％以上，具

3、有一定的實用性。 再者，目前搜索引擎在檢索時主要還是基于傳統(tǒng)的“關(guān)鍵字匹配”，而每個領(lǐng)域都有自己專用的詞匯和用語，并且同一個詞在不同領(lǐng)域會有不同的含義，再加上用戶進(jìn)行Web信息檢索時輸入的關(guān)鍵詞通常比較簡單，從而導(dǎo)致通用搜索引擎的查詢結(jié)果集膨脹，查準(zhǔn)率低，用戶必須在大量的與自己查詢意圖相關(guān)和不相關(guān)的結(jié)果集中尋找自己需要的東西。 由于本體是知識表示模型中最有表達(dá)能力的一種模型，又具有其他知識表示模型的特征，因此利用本體所具