Web文檔自動(dòng)摘要技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息呈爆炸式增長(zhǎng)，給人們帶來(lái)豐富信息的同時(shí)也帶來(lái)了一定的困擾。面對(duì)這海量的信息資源，如何能快速而又準(zhǔn)確地獲取信息成為一個(gè)研究熱點(diǎn)。在這種需求背景下，對(duì)信息檢索中的自動(dòng)摘要技術(shù)的研究顯得尤為重要，用戶只瀏覽摘要信息而不必點(diǎn)開(kāi)全文即可做出相關(guān)性判斷，方便而快捷，進(jìn)而改善信息檢索的效率。
　　 互聯(lián)網(wǎng)本身具有開(kāi)放性、自由性，且人們的交互信息也呈現(xiàn)出電子化、海量化、網(wǎng)絡(luò)化的特點(diǎn)，而Web資源大部分都是以

2、非結(jié)構(gòu)化的形式保存的，這些因素給信息檢索中自動(dòng)摘要技術(shù)的研究帶來(lái)了極大的困擾，尤其在處理互聯(lián)網(wǎng)中的海量信息文本時(shí)，為了能夠得到更準(zhǔn)確全面的摘要信息，自動(dòng)摘要技術(shù)在選取主題句方面面臨著極大的挑戰(zhàn)。
　　 針對(duì)現(xiàn)有自動(dòng)摘要技術(shù)在選取主題句時(shí)準(zhǔn)確率低的問(wèn)題，本文以Web文檔作為主要處理對(duì)象，研究了Web文檔自動(dòng)摘要技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)它的原型系統(tǒng)。本文主要內(nèi)容的詳細(xì)描述如下:
　　 (1)研究并分析了自動(dòng)摘要理論以及信息檢索

3、中所涉及到的關(guān)鍵技術(shù)。為了獲得高質(zhì)量的文檔摘要，需綜合分析Web文檔自身特征以及檢索相關(guān)技術(shù)，主要包括題材、結(jié)構(gòu)等文檔特征以及查詢擴(kuò)展等技術(shù)，這些因素有助于提高摘要質(zhì)量。
　　 (2)對(duì)傳統(tǒng)的VSM模型進(jìn)行了研究與改進(jìn)。傳統(tǒng)的VSM模型采用的是基于詞頻統(tǒng)計(jì)的方法，對(duì)文檔中詞語(yǔ)出現(xiàn)頻率實(shí)行淺層意義上的疊加，認(rèn)為高頻詞最能表達(dá)文章主旨，而忽視了一詞多義、同義詞等現(xiàn)象，致使信息檢索時(shí)出現(xiàn)話題漂移現(xiàn)象，故為了獲取能準(zhǔn)確表達(dá)文檔中心意思的

4、詞或短語(yǔ)，本文采用基于概念統(tǒng)計(jì)的方法，充分考慮了這些關(guān)鍵詞的詞性、位置以及自身長(zhǎng)度等特征。
　　 (3)為了得到較高質(zhì)量的自動(dòng)摘要，本文在基于概念統(tǒng)計(jì)方法的基礎(chǔ)上，利用本體技術(shù)對(duì)查詢關(guān)鍵詞及語(yǔ)義上下文進(jìn)行擴(kuò)展，并得到用戶對(duì)該查詢?cè)~的語(yǔ)義興趣度，進(jìn)而構(gòu)造出一種新的詞語(yǔ)權(quán)重計(jì)算公式，該公式的運(yùn)用可大大提高能表達(dá)文章主旨的詞或短語(yǔ)的權(quán)重。同時(shí)在句子權(quán)重計(jì)算過(guò)程中，為避免人為主觀因素的影響，采用非線性加權(quán)方法來(lái)自動(dòng)調(diào)節(jié)相關(guān)詞的重要程度。