面向新聞文檔的自動(dòng)微博生成算法研究與實(shí)現(xiàn).pdf

1、網(wǎng)上每天產(chǎn)生巨量新聞，普通用戶不容易通過(guò)手機(jī)瀏覽這些信息。從海量新聞信息中找到自己感興趣的信息非常耗時(shí)，因此我們迫切需要有效的壓縮工具對(duì)大量信息進(jìn)行提煉、濃縮。文本的總結(jié)不僅可以壓縮文本信息，而且可以支持文本的其它處理，如信息存儲(chǔ)、信息檢索和數(shù)據(jù)挖掘等。本文在面向新聞文檔的總結(jié)技術(shù)的基礎(chǔ)上，為了提高用戶閱覽和選擇感興趣信息的效率，提出新聞文檔自動(dòng)生成微博這一全新概念，采用不同方法實(shí)現(xiàn)生成微博，并利用不同方式進(jìn)行對(duì)比分析。本文主要內(nèi)容和貢

2、獻(xiàn)如下:
　　第一，提出面向新聞文檔的自動(dòng)生成微博的概念。通過(guò)文本信息處理，并生成不超過(guò)140字的主題后，人們只需閱讀少量信息就能確定是否需要進(jìn)行全文閱覽，這將大大提高人們獲取電子文本信息的效率。
　　第二，本文探索了面向中文新聞文檔自動(dòng)總結(jié)技術(shù)的研究。通過(guò)對(duì)現(xiàn)階段幾種流行的自動(dòng)總結(jié)技術(shù)，如基于統(tǒng)計(jì)的自動(dòng)總結(jié)，基于自然語(yǔ)言理解的文檔總結(jié)，得到它們自身的優(yōu)點(diǎn)和缺點(diǎn)，并在此基礎(chǔ)上提出采用基于關(guān)鍵短語(yǔ)自動(dòng)生成微博。提取出能夠代表和

3、抽象原文的關(guān)鍵詞短語(yǔ)為第一級(jí)總結(jié)，根據(jù)生成的關(guān)鍵短語(yǔ)選擇總結(jié)性句子作為微博。
　　第三，采用基于潛在語(yǔ)義分析模型生成微博。這種方法識(shí)別語(yǔ)義重要的句子來(lái)創(chuàng)建微博，努力選擇具有較高排序分?jǐn)?shù)，且彼此不同的句子。嘗試創(chuàng)建對(duì)文檔主要內(nèi)容有較大覆蓋范圍且較小冗余度的微博。對(duì)由不同模型生成的微博結(jié)果采用不同的方法進(jìn)行比較和分析。
　　第四，實(shí)現(xiàn)新聞文檔的自動(dòng)微博生成系統(tǒng)。實(shí)現(xiàn)了兩種自動(dòng)生成微博的方法，一方面，采用基于統(tǒng)計(jì)方法生成關(guān)鍵概念作