網(wǎng)絡(luò)輿情資訊系統(tǒng)中的自動(dòng)文本摘要技術(shù)研究.pdf

1、輿情資訊系統(tǒng)定向爬取互聯(lián)網(wǎng)上的新聞、論壇、微博等文本數(shù)據(jù)，過(guò)濾、排序、并形成自動(dòng)文摘提供給決策層用戶，提升其信息獲取效率，并滿足其對(duì)輿情資訊的搜集、監(jiān)控及預(yù)警等需求。自動(dòng)文本摘要是輿情資訊系統(tǒng)中的核心技術(shù)之一，它試圖從文本中提取出最重要的部分，形成簡(jiǎn)明扼要的文摘。由于爬蟲(chóng)獲取的資訊包含大量垃圾及無(wú)關(guān)文本，將對(duì)輿情系統(tǒng)中包括自動(dòng)文本摘要在內(nèi)的后續(xù)文本處理構(gòu)成極大的負(fù)面影響。為此，面向輿情資訊系統(tǒng)的實(shí)際需求，本文聚焦于輿情系統(tǒng)中垃圾文本過(guò)濾

2、方法以及節(jié)錄式摘要自動(dòng)生成算法的研究。
　　首先，針對(duì)輿情資訊系統(tǒng)原始數(shù)據(jù)包含大量垃圾文本的問(wèn)題，我們通過(guò)分析垃圾文本產(chǎn)生的原因，對(duì)垃圾文本進(jìn)行分類(lèi)，綜合運(yùn)用黑/白名單過(guò)濾方法、貝葉斯分類(lèi)器過(guò)濾方法，提出一種多層垃圾文本過(guò)濾方法，降低輿情系統(tǒng)中文本處理的錯(cuò)誤率，并基于不同數(shù)據(jù)源中的相似文本數(shù)量，進(jìn)行資訊內(nèi)容的重要性排序。
　　其次，節(jié)錄式摘要的本質(zhì)是從原始文本中提取一定數(shù)量的重要句子，因此句排序是節(jié)錄式自動(dòng)摘要的算法。一種直

3、觀的無(wú)監(jiān)督方法是通過(guò)構(gòu)建詞或句關(guān)聯(lián)網(wǎng)絡(luò)，再使用PageRank計(jì)算詞或句的排序分值，最終獲得句的重要性排序分值。本文將詞和句重要性排序相融合，考慮詞與句之間的相互影響，提出詞句協(xié)同排序的自動(dòng)摘要算法，在句關(guān)聯(lián)網(wǎng)絡(luò)上融入詞對(duì)句子排序分值的影響，而詞的重要性由包含其句子的排序分值所決定。在句排序結(jié)果基礎(chǔ)上，提出基于冗余度的句選擇方法，進(jìn)一步提升自動(dòng)摘要質(zhì)量。算法在10篇中文文本和1067篇英文文本上的的實(shí)驗(yàn)表明，相比于只構(gòu)建句網(wǎng)絡(luò)的算法和D