針對(duì)私人微博的自動(dòng)摘要形成研究.pdf

1、自2007年以來(lái),微博這種通訊形式風(fēng)靡全球。微博具有上手門(mén)檻低、交流及時(shí)、發(fā)布便捷等優(yōu)勢(shì),在全球得以普及和發(fā)展。近年來(lái)微博的發(fā)展態(tài)勢(shì)強(qiáng)勁,已成為人們生活中不可或缺的一部分。在國(guó)內(nèi),網(wǎng)民的微博用戶(hù)數(shù)量激增,每日發(fā)布的博文條數(shù)多達(dá)上億條,產(chǎn)生了大量的微博數(shù)據(jù)。大多數(shù)的微博內(nèi)容隨意,評(píng)論較多且口語(yǔ)化嚴(yán)重。如何在浩如煙海各型各色的微博數(shù)據(jù)中找到符合個(gè)人興趣并能夠提供有效信息的微博數(shù)據(jù),成為了伴隨著微博發(fā)展帶來(lái)的一個(gè)巨大的問(wèn)題。
　　本文以

2、新浪微博為數(shù)據(jù)來(lái)源,以個(gè)人微博一個(gè)歷史時(shí)間段內(nèi)所發(fā)表的所有微博數(shù)據(jù)為單位進(jìn)行研究。經(jīng)過(guò)對(duì)自動(dòng)文摘技術(shù)與微博數(shù)據(jù)特點(diǎn)的研究,并且結(jié)合文本表示、聚類(lèi)算法等主題進(jìn)行了探討,設(shè)計(jì)且實(shí)現(xiàn)了一個(gè)從獲取數(shù)據(jù)到數(shù)據(jù)處理到最終自動(dòng)摘要形成的完整系統(tǒng)。這個(gè)過(guò)程中主要經(jīng)歷了以下步驟:獲取數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、文本表示、特征選擇、相似度計(jì)算改進(jìn)、聚類(lèi)算法改進(jìn)及算法實(shí)現(xiàn)和形成綜合自動(dòng)摘要。本論文主要工作有:
　　首先,通過(guò)新浪微博開(kāi)放平臺(tái)獲取微博原始數(shù)據(jù)

3、。
　　其次,對(duì)微博數(shù)據(jù)進(jìn)行分析研究,結(jié)合私人微博文本特點(diǎn)把微博數(shù)據(jù)與評(píng)論內(nèi)容合并成偽文檔進(jìn)行分詞等一系列預(yù)處理工作。接下來(lái),將分詞后的文本轉(zhuǎn)化成數(shù)據(jù)格式。文本模型把數(shù)據(jù)從文本形式轉(zhuǎn)化成了數(shù)學(xué)的表示,反映了數(shù)據(jù)之間的關(guān)系,并在此基礎(chǔ)上采用文本相似度的計(jì)算方法。
　　然后,聚類(lèi)算法采用了K-means聚類(lèi)算法。K值的指定一直都是K-means聚類(lèi)算法的最大的問(wèn)題,通常需要通過(guò)經(jīng)驗(yàn)進(jìn)行判斷。中心點(diǎn)的選取也是一個(gè)較大的問(wèn)題,通常中

4、心點(diǎn)最好具有代表性,選取不同中心點(diǎn)的位置對(duì)算法結(jié)果的準(zhǔn)確性也有較大影響。我們對(duì)此進(jìn)行了改進(jìn),使得改進(jìn)后的算法能夠自適應(yīng)地獲取K的值,并選取中心點(diǎn)。
　　最后,根據(jù)微博的內(nèi)容時(shí)效性和流行度,確定聚類(lèi)簇中各個(gè)微博的權(quán)重,先得到每個(gè)聚類(lèi)中的摘要,最終結(jié)合各個(gè)聚類(lèi)簇形成最終針對(duì)私人微博的摘要。論文的最后通過(guò)實(shí)驗(yàn)驗(yàn)證,對(duì)論文提出的聚類(lèi)算法改進(jìn)進(jìn)行了分析和實(shí)驗(yàn)。相比于原先的算法準(zhǔn)確率和適用性有所提高。通過(guò)整個(gè)系統(tǒng)開(kāi)發(fā)實(shí)現(xiàn)了私人微博摘要的形成。