基于HMM的定題信息采集研究與實(shí)踐.pdf

1、本文針對(duì)Web信息采集領(lǐng)域存在的問題，圍繞面向垂直搜索的定題信息采集技術(shù)這一中心，主要完成的工作內(nèi)容如下：
　　 第一，全面回顧了信息采集技術(shù)的研究歷史，系統(tǒng)深入地分析了通用信息采集技術(shù)和已有定題信息采集技術(shù)各自存在的優(yōu)缺點(diǎn)，以及就主題爬行涉及到的一些關(guān)鍵技術(shù)展開了談?wù)摗Ｍㄟ^學(xué)習(xí)和研究Web頁面分布特性，得出一些可以用于主題爬行過程的規(guī)律。
　　 第二，本文涉及的主題相關(guān)度判別部分，主要是借助于通用搜索引擎工具進(jìn)行主題拓

2、展、提取領(lǐng)域信息，動(dòng)態(tài)地構(gòu)建主題權(quán)重表。在得出主題權(quán)重表后，結(jié)合網(wǎng)頁文本以及鏈接的元數(shù)據(jù)信息，提出了一種有效的主題爬蟲相關(guān)度判別算法，來預(yù)測(cè)相似站點(diǎn)內(nèi)頁面和鏈接的主題相關(guān)度。以內(nèi)容和鏈接組合而成的主題特征向量作為度量來發(fā)現(xiàn)站點(diǎn)內(nèi)的主題資源，是本文較為核心的部分，同時(shí)為后續(xù)的建模過程做好鋪墊。
　　 第三，本文研究的重點(diǎn)是如何將隱馬爾科夫模型(HMM)應(yīng)用于定題信息采集領(lǐng)域。通過介紹HMM模型的理論知識(shí)和主要的算法，結(jié)合Web站點(diǎn)

3、的主題層次結(jié)構(gòu)以及主題特征向量，在對(duì)現(xiàn)有主題爬蟲的缺陷和不足進(jìn)行分析的基礎(chǔ)上，提出了一套基于HMM模型的定題信息采集技術(shù)解決方案，同時(shí)對(duì)實(shí)現(xiàn)此方案過程中涉及到的相關(guān)問題進(jìn)行了重點(diǎn)研究。
　　 第四，本文在提出理論創(chuàng)新的同時(shí)，合理的整合一些開源技術(shù)，實(shí)現(xiàn)了一個(gè)主題爬行原型系統(tǒng)。在真實(shí)的Web環(huán)境下，針對(duì)多個(gè)不同主題的實(shí)驗(yàn)結(jié)果進(jìn)行分析，表明利用HMM模型基于訓(xùn)練數(shù)據(jù)集的自動(dòng)構(gòu)造識(shí)別能力，使得我們的主題爬行策略可以明顯地改善傳統(tǒng)主題爬