基于社交網(wǎng)站的數(shù)據(jù)挖掘應(yīng)用研究——主題分析.pdf

1、隨著社交網(wǎng)站各類終端功能和界面的日益完善，人們對(duì)社交網(wǎng)站尤其是微博類等基于短文本的社會(huì)媒體越發(fā)依賴，其中的商業(yè)價(jià)值也越來越明顯。通過對(duì)近年來越來越受到人們關(guān)注的自然語言處理和文本挖掘技術(shù)的研究探索，建立主題分析模型，對(duì)微博文本進(jìn)行有效地分析和處理，挖掘出隱藏于海量的微博數(shù)據(jù)中的用戶興趣及其關(guān)注領(lǐng)域，不僅對(duì)各類商戶來說具有巨大的利用價(jià)值，通過興趣信息投放和類別劃分也可以為微博用戶提供便利。
　　由于微博數(shù)據(jù)篇幅短小，長(zhǎng)度一般限制在1

2、40字左右，其所蘊(yùn)含的信息量相對(duì)較少，數(shù)據(jù)稀疏性問題較為嚴(yán)重，但總量又比較大，傳統(tǒng)的文本挖掘算法不能達(dá)到很好的效果。而利用主題建模則可以無監(jiān)督地對(duì)文檔和詞進(jìn)行分類，從而較為準(zhǔn)確地挖掘出文本中隱含的主題意義。
　　本文以用新浪API獲取的不同領(lǐng)域的新浪微博數(shù)據(jù)為語料，面向短文本聚類方法進(jìn)行研究，首先針對(duì)微博類數(shù)據(jù)含有較大“噪音”的特點(diǎn)，本文利用正則表達(dá)式對(duì)其進(jìn)行一系列匹配預(yù)處理操作，然后利用基于條件隨機(jī)場(chǎng)的中文分詞系統(tǒng)對(duì)微博數(shù)據(jù)進(jìn)行