校園網(wǎng)搜索引擎中網(wǎng)頁去重技術的研究.pdf

1、隨著校園網(wǎng)建設的迅速發(fā)展，校園網(wǎng)信息資源迅速增加，這使得全校師生迅速定位有價值的信息難度較大，浪費時間而且效率低下?；谛@網(wǎng)自身的特點，發(fā)展較成熟的通用搜索引擎不能完全適用于校園網(wǎng)，并且大量轉載網(wǎng)頁的存在造成檢索結果重復頁過多。通過分析校園網(wǎng)網(wǎng)頁的特點和現(xiàn)有去重技術，以解決校園網(wǎng)搜索引擎檢索結果重復網(wǎng)頁過多問題，針對不同類型的重復網(wǎng)頁，采用在索引和實時檢索時分別去重的策略，構建了校園網(wǎng)搜索引擎，完成了如下幾項工作：
　　第一，對

2、網(wǎng)頁去重的準備工作進行了研究和分析。首先，分析網(wǎng)頁噪音產(chǎn)生的原因、噪音的定義及類型，采用合并內(nèi)容塊技術對原始網(wǎng)頁集進行噪音去除和正文抽取，以獲得網(wǎng)頁的正文內(nèi)容。其次，研究中文分詞技術，對比現(xiàn)有中文分詞技術，最終采用庖丁解牛分詞軟件，對Nutch進行二次開發(fā)——修改Nutch源碼，實現(xiàn)中文分詞。
　　第二，對索引時網(wǎng)頁去重算法進行研究和改進。分析現(xiàn)有算法，針對完全重復或部分重復的網(wǎng)頁，采用最長段落簽名的網(wǎng)頁去重算法。首先對整篇文檔簽

3、名后去重，其次對去重過濾后的文檔分段，對分好的段落排序，再取前 N個段落對其進行指紋簽名，將其作為文檔的特征，當這兩個文檔中相同段落數(shù)超過系統(tǒng)給定的一個閾值時，就判定這兩個文檔為相互重復的文檔。提取前 N段并進行指紋排序大大降低了計算的復雜度。實驗證明，該方法有較高的去重準確率。
　　第三，針對網(wǎng)頁轉載時對原網(wǎng)頁進行微小修改而產(chǎn)生的重復網(wǎng)頁，在實時檢索時采用優(yōu)化傅立葉變換去重算法。該算法把每篇文檔的每個詞映射成一個數(shù)值 Finge

4、rprint，那么每篇文檔就可以表示成一個離散數(shù)值序列。對該數(shù)值序列進行傅立葉變換得到傅立葉系數(shù)，比較系數(shù)的前若干項即可大致比較出兩個數(shù)列的相似性。實驗證明，基于優(yōu)化傅立葉變換的去重算法能夠在網(wǎng)頁發(fā)生修改的時候兼顧查全率和去重率。
　　以Nutch作為系統(tǒng)的開發(fā)工具，通過對Nutch源碼進行修改實現(xiàn)索引時的去重算法，并采用插件形式實現(xiàn)檢索時的網(wǎng)頁去重算法，在Nutch的基礎上設計實現(xiàn)校園網(wǎng)搜索引擎，并詳細說明了校園網(wǎng)搜索引擎系統(tǒng)開