面向播存內容分發(fā)的信息采集關鍵技術研究.pdf

1、播存網絡中，廣播源點基于網絡用戶行為的無尺度現(xiàn)象，聚類整合互聯(lián)網熱門信息內容，對熱門信息內容進行UCL(Uniform Content Label)信息標引并通過廣播分發(fā)將熱門信息內容的UCL和全文分別推送到所有用戶終端和邊緣網絡接入服務器，實現(xiàn)信息的主動服務。這一過程被稱為播存內容分發(fā)。其中，互聯(lián)網熱門信息內容的聚類整合是實現(xiàn)播存內容分發(fā)的關鍵。
　　本文根據(jù)播存內容分發(fā)的應用需求，研究通過信息采集聚類整合互聯(lián)網熱門信息內容的方

2、法，從信息采集的范圍、內容和方式三方面對播存網絡信息采集中的關鍵技術問題進行分析。論文的主要工作體現(xiàn)在以下幾個方面:
　　研究設計了播存網絡信息采集技術框架，對播存網絡信息采集中三個關鍵技術的結構和實現(xiàn)方法進行研究，并提出:基于網絡用戶行為模型的統(tǒng)計特性對網站熱度進行評估，基于網頁結構相似度的聚類方法對網頁類型進行分析，基于網絡爬蟲實現(xiàn)播存網絡信息采集的過程。
　　對關鍵技術中的算法進行深入研究，基于播存結構理論中用戶行為分

3、析的理論研究基礎，借鑒網絡科學研究中網絡重要節(jié)點排序的研究，設計和實現(xiàn)了一種基于D-S證據(jù)理論的網站熱度計算方法，為網站熱度評估提供依據(jù)。根據(jù)網頁信息內容的特點，對基于DOM樹的網頁結構相似度計算方法進行研究改進，使其更加符合播存內容分發(fā)對信息類型判斷的要求。
　　根據(jù)技術框架的設計，對播存網絡信息采集原型系統(tǒng)進行了實現(xiàn)，基于熱度評估技術實現(xiàn)了用戶行為分析單元的功能，基于信息類型分析技術實現(xiàn)了類型分析單元的功能，通過多種爬蟲的并行