垂直搜索引擎的研究.pdf

1、隨著網(wǎng)頁(yè)信息量越來越大，采用通用搜索引擎搜索某一個(gè)方面的信息時(shí)覆蓋率和準(zhǔn)確率低，回饋的內(nèi)容不夠詳細(xì)，噪音過多，維護(hù)龐大的網(wǎng)頁(yè)索引庫(kù)特別困難，在信息的采集和存儲(chǔ)面臨著嚴(yán)峻的挑戰(zhàn)。由于通用搜索引擎存在以上的缺點(diǎn)垂直搜索引擎正好彌補(bǔ)了這些不足，它最大的特點(diǎn)是精，準(zhǔn)，深。
　　 論文的主要工作如下：
　　 1.介紹了垂直搜索引擎，包括網(wǎng)絡(luò)蜘蛛，索引器，檢索器，用戶接口的體系構(gòu)架和主題頁(yè)面分布特征、倒排序索引的建立和中文分詞等基本

2、技術(shù)。
　　 2.分析并研究了頁(yè)面的解析和抓取、與主題相關(guān)性判定、網(wǎng)頁(yè)收集和凈化等基本工作原理，優(yōu)化并且實(shí)現(xiàn)了一種頁(yè)面消重算法。
　　 3.利用lucene開發(fā)包實(shí)現(xiàn)了一個(gè)小型垂直搜索引擎。用網(wǎng)絡(luò)蜘蛛實(shí)現(xiàn)對(duì)各種類型的文檔的解析，包括文本、html、Word、pdf等格式，通過解析文檔來提取與主題有關(guān)的信息，同時(shí)實(shí)現(xiàn)了中文分詞、索引器和檢索器等模塊。
　　 4.論文對(duì)內(nèi)容重復(fù)的網(wǎng)頁(yè)消重算法進(jìn)行了改進(jìn)和實(shí)現(xiàn)，它是對(duì)傳