互聯(lián)網(wǎng)主題信息定向采集研究.pdf

1、在信息時(shí)代的大背景下,互聯(lián)網(wǎng)信息以超乎想象的速度迅猛增加,信息爆炸、信息過載使人們陷入了信息時(shí)代的新困境。如何在海量的互聯(lián)網(wǎng)信息資源中快速有效地獲取所需信息成為亟待解決的一個(gè)重要問題。與此同時(shí),信息用戶對(duì)信息的需求正逐漸呈現(xiàn)出主題化、領(lǐng)域化、專業(yè)化和個(gè)性化的趨勢(shì)。如何滿足這些主題化的信息需求也是當(dāng)前的重要課題。
　　 正是基于這樣的背景,本文首先研究和比較了當(dāng)前適用于互聯(lián)網(wǎng)主題信息定向采集的各類理論、技術(shù)和信息采集方案,包括通用

2、引擎和垂直引擎策略、主題信息采集技術(shù)、中文自動(dòng)切分詞技術(shù)、大規(guī)模文本計(jì)算技術(shù)等支撐性技術(shù);在此基礎(chǔ)上提出了通用搜素引擎與垂直搜索引擎相結(jié)合的互聯(lián)網(wǎng)主題定向采集策略,利用基于領(lǐng)域的主題詞表生成和優(yōu)化方法確定主題范圍,采用文本相似度計(jì)算算法進(jìn)行系統(tǒng)的文本處理。在確定了采集策略和底層技術(shù)后,即對(duì)互聯(lián)網(wǎng)主題定向采集系統(tǒng)進(jìn)行了框架設(shè)計(jì)。
　　 本文分析和改進(jìn)了采集系統(tǒng)中的三個(gè)關(guān)鍵技術(shù),包括提出了多種防屏蔽技術(shù)相結(jié)合的網(wǎng)絡(luò)采集防屏蔽解決方案

3、;改進(jìn)了一種基于文本密度的網(wǎng)頁正文抽取方法;采用了基于分詞的向量空間模型和余弦夾角公式實(shí)現(xiàn)了基于內(nèi)容的標(biāo)題去重。文中以實(shí)例介紹了采用模擬瀏覽器技術(shù)自動(dòng)登錄網(wǎng)站的防屏蔽實(shí)現(xiàn)方法,改進(jìn)的網(wǎng)頁正文抽取方法適用于新聞?lì)惥W(wǎng)頁,是一種通用性較強(qiáng)、性能優(yōu)越的正文抽取算法。在網(wǎng)頁去重技術(shù)方面,本文主要介紹了網(wǎng)頁URL比對(duì)去重技術(shù)和基于內(nèi)容的去重策略,并采用基于分詞的向量空間模型和余弦夾角公式實(shí)現(xiàn)了基于內(nèi)容的標(biāo)題去重,給出了其核心算法。
　　 最