基于文本聚類的網(wǎng)頁消重算法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和互聯(lián)網(wǎng)規(guī)模的不斷擴大，互聯(lián)網(wǎng)已經(jīng)成為了全球最大、最廣泛使用的信息庫，人們能夠獲得的信息資源也同益豐富。網(wǎng)絡(luò)信息的指數(shù)級膨脹給信息檢索帶來了巨大的困難，并且網(wǎng)絡(luò)信息的易復(fù)制性使得網(wǎng)絡(luò)中存在大量的重復(fù)信息，因此，發(fā)現(xiàn)并消除重復(fù)信息的研究工作具有重要意義。 本文首先對傳統(tǒng)的文本聚類方法和網(wǎng)頁消重方法進行了研究，總結(jié)了它們各自的優(yōu)缺點。并結(jié)合兩種聚類算法的優(yōu)點，提出Bisecting Kmeans++聚類算法，通

2、過UCI數(shù)據(jù)集的測試評估，驗證了它在聚類的最大凝聚度，正確率以及時間開銷方面都比較理想。 然后，本文通過Tidy將Web文檔轉(zhuǎn)換為格式良好的HTML文檔，并利用DOM解析成樹狀結(jié)構(gòu)。由于網(wǎng)頁數(shù)據(jù)存在噪音的特點，文中提出最大正文塊算法用于特定網(wǎng)頁集合的噪聲去除和正文塊發(fā)現(xiàn)，并驗證了它的可行性。并在經(jīng)過最大正文塊去噪后的網(wǎng)頁集合對Bisecting Kmeans++算法和前N項高頻詞MD5值算法進行比對實驗，發(fā)現(xiàn)它在查準率和查全率上