網(wǎng)頁垂直搜索中信息抽取系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著Internet的高速發(fā)展，Web的信息量越來越大，當前最流行的網(wǎng)頁導航工具通用搜索引擎在信息采集、信息存儲等方面面臨著巨大的挑戰(zhàn)。另外，由于通用搜索引擎只是對網(wǎng)頁的文本建立分詞索引，而面向的是幾乎所有類型的用戶，包羅萬象的結(jié)果越來越難滿足用戶精確搜索的要求。于是，面向?qū)I(yè)領(lǐng)域的垂直搜索引擎就成為搜索引擎一個新的發(fā)展方向。 垂直搜索引擎與通用搜索引擎最大的區(qū)別就是前者對網(wǎng)頁進行了頁面凈化、信息抽取、頁面分類、數(shù)據(jù)挖掘等深度的

2、加工。經(jīng)過這些加工之后，它能為用戶提供覆蓋率和準確率都比較高的搜索結(jié)果。在垂直搜索引擎的構(gòu)建過程中，從Web的半結(jié)構(gòu)化數(shù)據(jù)中抽取出結(jié)構(gòu)化數(shù)據(jù)是其中最重要步驟之一，它為網(wǎng)頁分類，數(shù)據(jù)挖掘等處理過程提供基礎(chǔ)數(shù)據(jù)。 本文通過一個實際項目——中國電信號碼百事通垂直搜索引擎——提出如何在Nutch開源框架基礎(chǔ)上構(gòu)建一個完整的垂直搜索引擎，并重點討論本人參與的主要模塊——信息抽取子系統(tǒng)的設(shè)計與實現(xiàn)。信息抽取子系統(tǒng)包括網(wǎng)頁規(guī)范化、網(wǎng)頁凈化、結(jié)