中文微博子話題構(gòu)建技術(shù)研究與實(shí)現(xiàn).pdf

1、微博作為新興的信息交流媒體，報道了社會、政治、經(jīng)濟(jì)和文化等各領(lǐng)域的大部分新聞事件。在微博平臺中，用戶難以在短時間內(nèi)閱讀完每天產(chǎn)生的大量微博，話題成為微博信息組織的重要方式。以話題的方式組織主題相關(guān)的微博，一定程度上緩解了微博數(shù)目巨大的問題，但是在一個話題中仍然包含數(shù)目巨大的微博。在話題中往往包含多個關(guān)系密切的子話題，如何將話題組織為子話題的形式成為一個亟待解決的問題。本文進(jìn)一步細(xì)化組織話題，通過構(gòu)建子話題和提取子話題標(biāo)簽來展示話題的內(nèi)容

2、。本文綜合運(yùn)用微博的內(nèi)容信息和主題向量構(gòu)建子話題，并考慮了地點(diǎn)、人物等因素對子話題構(gòu)建的影響。在提取子話題標(biāo)簽時，研究了一種基于隨機(jī)游走模型的LabelRank子話題標(biāo)簽提取算法。
　　本研究主要內(nèi)容包括：⑴在微博數(shù)據(jù)預(yù)處理方面，本文首先過濾信息量較小或者不包含人物和地點(diǎn)名詞等無意義的微博，然后利用正則表達(dá)式對微博數(shù)據(jù)進(jìn)行清洗，如刪除URL鏈接和“@用戶”等，最后利用維基百科的簡繁體對應(yīng)表對文本中的繁簡體進(jìn)行了統(tǒng)一。⑵研究了一種基

3、于微博內(nèi)容和主題向量的子話題構(gòu)建方法。本文方法考慮了地點(diǎn)、人物等因素對子話題構(gòu)建的影響，通過構(gòu)建人物向量、地名向量、核心詞向量和微博內(nèi)容的主題向量綜合判斷微博文檔之間的相似度，實(shí)驗(yàn)證明，本文研究的方法能有效的構(gòu)建話題下的子話題，相比只構(gòu)建主題模型的方法F1值提高了4.2％，歸一檢測錯誤開銷降低了8.6%，且對主題內(nèi)容相近難以區(qū)分的子話題在區(qū)分上十分有效。⑶研究了一種LabelRank子話題標(biāo)簽提取算法，該算法通過構(gòu)建基于LDA的詞共現(xiàn)加

4、權(quán)圖，采用隨機(jī)游走模型對圖中的核心詞進(jìn)行排序，并選取計算結(jié)果中的Top-K個核心詞作為子話題的標(biāo)簽，實(shí)驗(yàn)證明 LabelRank算法能夠有效的提取子話題標(biāo)簽。⑷在輿情監(jiān)控系統(tǒng)YHPODS的框架內(nèi)，實(shí)現(xiàn)了區(qū)域話題的子話題構(gòu)建模塊。子話題構(gòu)建模塊采用了Cassandra分布式集群和關(guān)系數(shù)據(jù)庫Oracle的雙策略存儲機(jī)制，實(shí)現(xiàn)了基于中國地名庫的區(qū)域話題微博采集算法、IP地址與地理位置映射算法和基于微博內(nèi)容與主題向量的子話題構(gòu)建算法，取得了很好