微博數(shù)據(jù)提取及話題檢測方法研究.pdf

1、微博作為近年來急速流行起來的網(wǎng)絡(luò)應(yīng)用，正在快速深入每個人的日常生活中。由于其不僅可以通過電腦而且可以通過手機等移動便攜設(shè)備進行內(nèi)容發(fā)布，所以其具有諸如實時性，碎片性等特點。同時微博博主可以有關(guān)注和被關(guān)注的關(guān)系，微博內(nèi)容也有評論轉(zhuǎn)發(fā)等形式，故也體現(xiàn)出其互動性和靈活性。本文基于微博以上特點做了數(shù)據(jù)提取和話題檢測兩方面工作。
　　傳統(tǒng)的網(wǎng)絡(luò)文本數(shù)據(jù)提取一般是利用圖遍歷的思想通過網(wǎng)絡(luò)爬蟲搜集信息，本文在此基礎(chǔ)上研究了使用微博開放API接口

2、進行數(shù)據(jù)獲取的方法。首先著重分析了OAuth2.0認證原理，然后研究了獲取認證的流程，此認證的獲取是利用開放接口的前提條件，目的是讓第三方應(yīng)用可以接入服務(wù)方的數(shù)據(jù)且不泄露個人信息，最后利用新浪微博的開放接口實現(xiàn)數(shù)據(jù)的提取并將獲取的數(shù)據(jù)以更高效的JSON格式保存，實驗證明此方法相比傳統(tǒng)方法處理效率更高，在同等數(shù)據(jù)量前提下文件大小更小。
　　話題檢測在數(shù)據(jù)挖掘領(lǐng)域已經(jīng)得到了深入的研究，其可以從分散的多個文本文件中提取出少量的不同主題，

3、從而可以更清晰明了地展現(xiàn)數(shù)據(jù)的整體概況。在進行話題檢測時傳統(tǒng)的基于空間向量模型建模方法容易造成語義丟失的問題，于是本文改進現(xiàn)有的特征權(quán)重和相似度計算方法，采用與語義相結(jié)合的方式，同時針對微博內(nèi)容實時性的特點，在前期建模階段添加時間參數(shù)以保證話題檢測的正確性，傳統(tǒng)的檢測方法主要是針對無結(jié)構(gòu)文本的分析，本文中考慮到微博轉(zhuǎn)發(fā)功能的結(jié)構(gòu)化特性，最后選取改進的單遍聚類Single-Pass方法實現(xiàn)話題檢測。通過比較實驗證明本文方法在話題檢測標準的