基于主題的短文本自動摘要抽取研究與應(yīng)用.pdf

1、微博、論壇、問答系統(tǒng)等平臺的蓬勃發(fā)展促使人們在網(wǎng)絡(luò)上的交互越來越多，為人們提供便利的同時也產(chǎn)生了海量的短文本信息。人們在閱讀這些實時更新的短文本信息時往往受到短文本長度有限、表達(dá)方式自由且結(jié)構(gòu)模糊等因素的干擾。如何能夠在有限的時間內(nèi)掌握大量的信息、迅速把握事件的發(fā)展動向已是迫切需要解決的問題。自動摘要技術(shù)是解決這個問題的有效手段。文本的摘要具有概括能力強、簡潔且信息完整的優(yōu)點，是文本挖掘的重要任務(wù)之一。本文針對微博短文本進(jìn)行自動摘要的提

2、取，同時關(guān)注文本本身的統(tǒng)計特征和隱含的主題信息，旨在生成一個主題（事件）下相關(guān)的摘要信息。工作主要包括以下兩個方面：
　　1）短文本的表示模型：為克服傳統(tǒng)的文本表示模型在短文本集合上的缺陷，滿足面向主題的任務(wù)需求，本文對基于語義的短文本表示向量模型進(jìn)行了改進(jìn)。采用潛在狄利克雷分布（LDA）對短文本進(jìn)行主題建模，并利用梯度下降算法計算詞向量權(quán)重，使得短文本中的主題相似性能夠通過詞語權(quán)重的不同而得到凸顯。最后使用向量加權(quán)平均的方法建立

3、短文本的表示模型，提取自動摘要時為捕獲短文本集合的主題信息做準(zhǔn)備。通過實驗驗證，本論文的模型比無權(quán)重的主題向量表示模型在分布的距離上提高了2.5％，具有較好的短文本表達(dá)能力。
　　2）自動摘要的抽取：本論文針對一個主題的微博數(shù)據(jù)集，在CoRank算法的基礎(chǔ)上提出了 LDA-CoRank算法，采用基于圖排序的算法進(jìn)行自動摘要的抽取。LDA-CoRank算法主要進(jìn)行了四點改進(jìn)：a.重定義邊關(guān)系：將每個微博文本當(dāng)作頂點，并采用短文本的主

4、題向量表示模型對文本建模，計算文本間的余弦相似度，并通過設(shè)定閾值限制邊關(guān)系的構(gòu)建；b.重定義詞權(quán)重：采用Hybrid TF-IDF方法進(jìn)行微博關(guān)鍵詞的權(quán)重計算，并通過迭代得到詞句關(guān)系權(quán)重；c. 加入冗余度控制策略：本論文采用最大邊緣相關(guān)算法對候選摘要句進(jìn)行冗余度的控制；d. 增加摘要結(jié)果的優(yōu)化：為增加摘要結(jié)果通順度和可讀性，論文對候選摘要句進(jìn)行結(jié)構(gòu)優(yōu)化，并按照時間重新排列后生成摘要結(jié)果。
　　最后，論文通過 ROUGE 評估方法和