面向論壇頁面的增量搜集技術研究.pdf

1、網(wǎng)絡論壇是用戶創(chuàng)建和討論話題的平臺，每天都有數(shù)以百萬的用戶發(fā)表各種話題。論壇數(shù)據(jù)通常包含大量高價值的知識和信息，已經(jīng)成為重要的數(shù)據(jù)源。有些商業(yè)搜索引擎利用論壇數(shù)據(jù)來改善搜索結果的質量，還有些研究試圖從論壇數(shù)據(jù)中挖掘有用的信息。無論何種web應用，最基本的步驟是從各種論壇站點中抓取數(shù)據(jù)，建立本地網(wǎng)頁庫，并維持對本地網(wǎng)頁庫的增量搜集。
　　 增量搜集技術的核心理論依據(jù)是網(wǎng)頁的變化規(guī)律和以此為基礎的最優(yōu)化調度策略。論壇站點有一些不同于

2、通常站點的特征：結構復雜且存在許多重復鏈接；較長的帖子分布在多個頁面上，鏈接深度大；論壇的內容變化更加頻繁而且內容增量式更新。傳統(tǒng)增量搜集技術以單個頁面作為基本調度單位，研究的是單個頁面的變化規(guī)律，并不適于對論壇數(shù)據(jù)進行增量搜集。
　　 本文主要研究論壇的增量搜集問題，主要貢獻有以下幾點：
　　 1.在論壇中屬于同一主題的信息通常分布在多個頁面上，本文摒棄傳統(tǒng)增量搜集技術中以單個頁面為增量搜集的基本單位的做法，將屬于同一

3、信息的頁面集合作為增量搜集的基本單位。頁面集合主要有兩種類型：屬于同一版塊的頁面集合和屬于同一帖子的頁面集合。
　　 2.通過對論壇結構的觀察和對版塊變化規(guī)律的統(tǒng)計分析，提出了基于版塊的論壇增量搜集策略。策略主要包含兩種算法：
　　 1).基于版塊的增量抓取算法：在大多數(shù)論壇中，版塊頁面即帖子列表頁中的帖子是按照最后回復時間進行排序列表，即新發(fā)布的帖子或者有新回復的帖子會排列在帖子列表的前部。增量抓取算法利用MDR自動抽

4、取算法，抽取列表頁中的帖子鏈接和最后回復時間，然后判斷是否為新發(fā)布帖子或者有新回復的帖子。
　　 2).基于版塊的增量調度算法：通過對版塊頁面集合變化規(guī)律的統(tǒng)計分析，發(fā)現(xiàn)不同的版塊內容變化頻率相差很大，并且版塊的變化頻率與當天的局部時間相關，具有局部時間規(guī)律。算法根據(jù)變化頻率為不同的版塊賦予不同的權重，然后根據(jù)權重分配版塊的抓取次數(shù)，同時根據(jù)版塊變化的局部時間規(guī)律，確定每次的抓取時間點。
　　 實驗結果表明本策略的帶競利