基于網(wǎng)頁分塊思想的搜索引擎索引系統(tǒng).pdf

1、現(xiàn)有的搜索引擎都是對整個頁面建立索引并用于檢索的，但某些頁面中可能包含不同的主題塊，如果用戶提交的多個關(guān)鍵詞恰好分別位于不同的主題塊內(nèi)，則即使頁面與用戶檢索請求不相關(guān)，搜索引擎仍會把該頁面返回給用戶。
　　 為改進搜索引擎的索引系統(tǒng)，引入了網(wǎng)頁分塊的思想。本文選擇了VIPS算法作為網(wǎng)頁分塊算法，但經(jīng)典VIPS算法在實際應用中存在著切分粒度不好控制的問題，針對切分過粗和切分過細兩種情況，本文分別引入了節(jié)點深度閾值和葉子節(jié)點數(shù)目閾值

2、，使得VIPS算法可以根據(jù)頁面特征進行切分粒度的自適應。在三大門戶網(wǎng)站爬取頁面作為測試集，通過改進算法與經(jīng)典算法的對比試驗，證明了改進算法的有效性。
　　 對給定網(wǎng)頁先行分塊，并基于塊內(nèi)容將主題相關(guān)的塊合并為子文檔，然后再對各子文檔分別建立索引。這樣只有當用戶提交的多個關(guān)鍵詞完全包含在某個子文檔內(nèi)時，搜索引擎才會把原頁面返回給用戶?；诰W(wǎng)頁分塊，設(shè)計了改進的搜索引擎索引系統(tǒng)，制定了一些規(guī)則過濾與正文無關(guān)的塊，并對剩下的塊進行分類