增量式Web信息采集與信息提取系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅猛發(fā)展，人們?cè)絹?lái)越依賴(lài)從網(wǎng)絡(luò)上獲取信息。網(wǎng)絡(luò)信息資源的保存壽命通常只有幾十天，隨著時(shí)間的推移，大量舊的網(wǎng)絡(luò)信息資源正在被新的網(wǎng)絡(luò)信息淹沒(méi)。如何更迅速更準(zhǔn)確地從互聯(lián)網(wǎng)上采集有用的信息成為研究的熱點(diǎn)。大規(guī)模的非增量式采集技術(shù)已經(jīng)發(fā)展很成熟。為了避免因重復(fù)搜集未變化的網(wǎng)頁(yè)而帶來(lái)時(shí)間上的浪費(fèi)，增量采集技術(shù)應(yīng)運(yùn)而生。為了提高更新采集的效率和信息抽取的抽準(zhǔn)率，本文主要針對(duì)增量更新的Web信息采集及基于隱馬爾夫模型的信息提取進(jìn)行了研究。<

2、br>　　 本文分析了Web信息采集系統(tǒng)的研究背景、研究意義、發(fā)展現(xiàn)狀以及其面臨的各種困難和挑戰(zhàn)，闡述了信息采集系統(tǒng)的工作原理和網(wǎng)絡(luò)爬蟲(chóng)的工作流程，在研究信息采集系統(tǒng)以及信息抽取的核心技術(shù)的基礎(chǔ)上結(jié)合增量信息采集系統(tǒng)的需求，明確了系統(tǒng)開(kāi)發(fā)過(guò)程中要解決的問(wèn)題，提出了具體的設(shè)計(jì)方案，構(gòu)建了一個(gè)性能良好，具有可擴(kuò)展性的增量信息采集及信息提取系統(tǒng)。該系統(tǒng)包括如下幾個(gè)模塊：頁(yè)面采集、頁(yè)面解析、URL去重、頁(yè)面去重和更新檢測(cè)。論文的主要工作以及創(chuàng)

3、新如下：
　　 1.引入了目錄型網(wǎng)頁(yè)，提高了發(fā)現(xiàn)新網(wǎng)頁(yè)的效率，采用FWKNN算法有效地識(shí)別了目錄型網(wǎng)頁(yè)。
　　 2.針對(duì)MD5算法過(guò)于苛刻的問(wèn)題，本文采取基于網(wǎng)頁(yè)框架和規(guī)則的方法先對(duì)網(wǎng)頁(yè)去噪后，再對(duì)網(wǎng)頁(yè)正文計(jì)算得出唯一的MD5值。此方法在一定程度上提高了網(wǎng)頁(yè)相似性分析的準(zhǔn)確率。
　　 3.在預(yù)測(cè)網(wǎng)頁(yè)的變化頻率方面，通過(guò)分析泊松模型存在的缺點(diǎn)，引入了更新頻率計(jì)算窗口，提出內(nèi)容分析和網(wǎng)頁(yè)隸屬分析，避免了建立模型前需要