基于RSS源文本的自動文摘系統(tǒng)研究.pdf

1、隨著網絡信息資源總量指數級的增長，如何在海量的數據中檢索信息并獲取主旨，是一個值得研究的問題。搜索引擎和RSS推送技術解決了信息的“源”問題，卻沒有很好的解決信息的“量”問題。自動文摘技術正是對信息進行壓縮和精煉的有效應用之一。自動文摘利用計算機技術，自動從原始文檔中抽取或總結出能夠反映文本中心內容的簡短連貫短文，以幫助用戶快速、準確和全面的獲取信息主旨。
　　 本文認為不同主題類型的新聞文摘具有不同形式的文本特征組合模型，因此

2、應將文本自動分類結果作為自動文摘的前提。通過網頁抓取、網頁清洗和數據存儲構建分類語料庫，并在此基礎之上利用不同特征選擇算法和分類算法實現了自動歸類。提出文摘句的可能性(Probability)和可行性(Possibility)兩種度量方式，基于文摘語料庫的構建，采用基于回歸分析的有監(jiān)督機器學習算法(線性回歸和Logistic回歸)進行訓練學習，以確定文摘句特征組合模型的最優(yōu)參數。針對中文文本，提出改進型ROUGE-CN系列評價算法，用于

3、對文摘句可能性的度量和對機器文摘的測評。
　　 基于機器學習的自動文摘方法產生的文摘與基準文摘和Word文摘的對比實驗結果表明，以自動分類為前提，利用基于回歸分析的有監(jiān)督機器學習算法，能夠有效的提高機器文摘質量。
　　 以在線RSS數據源與基于回歸機器學習的自動文摘方法的結合作為創(chuàng)新點，最終設計和實現了基于RSS源文本的自動文摘系統(tǒng)。系統(tǒng)以在線RSS源文本為數據來源，利用正則表達式匹配的方式抽取原文元數據內容，提供不同特