面向Web文本挖掘的主題網(wǎng)絡爬蟲研究.pdf

1、隨著Web3.0時代的到來，互聯(lián)網(wǎng)中Web頁面的數(shù)量和復雜性呈現(xiàn)出爆炸性增長趨勢，伴隨的是包含在Web頁面中的信息也呈幾何數(shù)量級增長。Web頁面信息通常是由Web頁面中的文本體現(xiàn)出來的，因此Web文本數(shù)據(jù)中隱藏著豐富的，對用戶有價值的知識和規(guī)則。但是由于Web文本數(shù)據(jù)半結(jié)構(gòu)化、實時性和離散性等特點，用戶很難直接從如此復雜的數(shù)據(jù)集中獲取到自己需要的知識。因此如何有效的從海量的Web本文數(shù)據(jù)中挖掘出用戶真正關心的信息和知識，并以用戶能夠理解

2、的方式呈現(xiàn)出來，是當下非常熱門的研究課題。
　　本文主要從獲取Web文本數(shù)據(jù)和對Web文本數(shù)據(jù)的分析兩方面著手，對如何準確且高效的獲取用戶所需要的Web文本信息，并挖掘其中有價值的知識展開研究。本文具體的研究工作如下：
　　主題網(wǎng)絡爬蟲：首先綜合分析了現(xiàn)有的主題網(wǎng)絡爬蟲實現(xiàn)的原理及結(jié)構(gòu)，然后對主題網(wǎng)絡爬蟲的分類進行介紹，選擇功能型主題網(wǎng)絡爬蟲為本文研究的重點。最后分析了網(wǎng)絡爬蟲實現(xiàn)語言，選擇Node.js這門新興語言來實現(xiàn)針

3、對主題網(wǎng)絡社區(qū)的主題網(wǎng)絡爬蟲。
　　Web文本表示模型：首先綜合分析了現(xiàn)有的文本表示模型，然后從本文所面對的Web文本數(shù)據(jù)以短文本為主的實際情況出發(fā)，結(jié)合自然語言處理中關鍵詞提取和詞向量表示的相關技術，提出一種基于關鍵詞向量的文本表示模型。
　　Web文本聚類算法：首先介紹了Web文本挖掘技術的定義。其次詳細介紹了Web文本挖掘中的聚類挖掘技術。在分析了Web文本聚類算法分類的基礎上，選取BIRCH算法為本文的Web文本聚類