基于爬蟲的網絡文本挖掘研究與應用.pdf

1、隨著計算機網絡技術的快速發(fā)展，互聯(lián)網所生產的數據正以前所未有的速度增長，信息社會步入了大數據時代。這些數據具有大量性、高速性、多樣性、復雜性和價值性等典型特點。然而，大部分數據以文本等非結構化、異構的數據形式存在于互聯(lián)網中，并且不易被獲取和分析。這些數據中往往蘊含著巨大的信息和知識。因此，研究如何借助于計算機相關技術獲取、挖掘其內在規(guī)律和價值具有重大意義。
　　基于爬蟲的網絡文本挖掘是指通過編寫網絡爬蟲程序抓取某些指定網站的文本數

2、據，利用模式識別、數據挖掘、統(tǒng)計學習等技術分析出隱含的、深層的、有價值的信息。本文圍繞上述問題，主要包括以下四方面研究內容：
　　(1)通過編寫爬蟲來獲取網絡文本數據。由于網絡文本數據嵌入HTML網頁中，很難通過人工進行獲取。因此本文提出通過編寫網絡爬蟲程序自動的獲取所需的文本分析源。文中介紹了網絡爬蟲抓取網頁的基本原理，并詳細說明了HTML網頁內容解析方法。
　　(2)本文結合傳統(tǒng)的文本挖掘技術，提出了一套完備的基于開源爬

3、蟲框架的網絡文本挖掘方案。詳細敘述了網絡文本的獲取、清洗、預處理、分析、結果可視化的一般性步驟和流程，并介紹了文本分類與聚類、文本情感分析等常用的文本挖掘算法。
　　(3)由于短文本的特征稀疏性，隱含較少的語義信息，使得短文本的分類研究面臨著巨大的挑戰(zhàn)。針對短文本分類的這兩個問題提出了一個基于隱含狄利克雷主題模型和最近鄰的短文本分類算法。實驗表明該方法使得短文本分類效果比KNN和SVM算法得到了很大的提升。
　　(4)本文創(chuàng)