基于HowNet語義的中文信息抽取及摘要生成方法.pdf

1、如今，我們生活在信息大爆炸的時代。大量冗余、繁雜的文檔，使我們不知所措。
　　當(dāng)要了解某篇文章的信息時，我們必須閱讀整篇文章，而且面對大量的信息，通過閱讀所有文檔來獲取消息是很難實(shí)現(xiàn)的，同時它需要花費(fèi)很多時間。信息抽取及摘要生成技術(shù)可以解決這個問題，該技術(shù)屬于文本挖掘技術(shù)，即通過對文本潛在語義進(jìn)行分析，從而提取文檔的核心信息。信息抽取技術(shù)可以被移植到信息檢索技術(shù)中。當(dāng)向搜索引擎輸入關(guān)鍵詞時，用戶能夠獲得大量信息的短小摘要，并且通過

2、摘要快速地查找感興趣的消息。
　　文摘生成技術(shù)已經(jīng)發(fā)展了近50年。在我國，許多高校和研究院投身于該技術(shù)的研究并取得了很大的科研成果。但是由于中文語言固有的特點(diǎn)，現(xiàn)存的摘要技術(shù)還不能很好地結(jié)合中文語義、語用和語法特征對中文文檔進(jìn)行信息抽取。因此本論文主要針對語義特點(diǎn)進(jìn)行研究，利用《知網(wǎng)（HowNet）》語義詞典對中文文檔進(jìn)行基于概念的文摘生成。
　　由于文檔是句子的線性序列，句子是詞語的線性序列，因此對文檔的處理可以轉(zhuǎn)化成對詞

3、語的處理。對文檔進(jìn)行預(yù)處理，該過程分為三個階段：根據(jù)中文文檔的符號特征，對文檔進(jìn)行分句處理；根據(jù)中文語言的故有特點(diǎn)，借助分詞詞表、采用正向最大減字法，對中文文本進(jìn)行分詞處理；由于分詞后的文本中會含有許多不能表達(dá)文檔核心思想的詞，因此借助停用詞詞表對分詞后的文本進(jìn)行去停用詞處理。經(jīng)過預(yù)處理模塊，中文文檔被處理成只含有意義詞語的集合，然后根據(jù)意義詞語的詞形特征進(jìn)行傳統(tǒng)的詞頻統(tǒng)計處理。由于文檔中的一些詞，雖然詞型不同，但是表達(dá)的含義相同，基于