基于圖模型聚類的文本摘要方法研究.pdf

1、基于圖模型聚類的文本摘要方法研究基于圖模型聚類的文本摘要方法研究摘要隨著互聯(lián)網(wǎng)的急速發(fā)展，接踵而至的便是互聯(lián)網(wǎng)信息量的急劇膨脹，尤其是文本信息的數(shù)量(新聞文章、電子書、科技報紙、博客等等)。據(jù)粗略估計，2015年網(wǎng)絡(luò)的文本規(guī)模達到了將近47億頁。針對這樣巨大的文本信息量，僅靠人力無法完全處理其中的有效信息。因此，為了簡單明了地向用戶提供文本的有效信息，我們有必要借助于計算機的力量實現(xiàn)快速定位有效信息的目標(biāo)。針對上述問題，本文展開了基于圖

2、模型聚類的文本摘要方法研究，其主要的研究目標(biāo)有三個：1)從文本中找出相關(guān)的內(nèi)容；2)消除文本信息冗余，一個好的文摘系統(tǒng)必須盡量剔除重復(fù)的信息，否則冗余信息會成為噪音，影響最后的文摘結(jié)果；3)文摘結(jié)果對原始文本具有高保真度，保持文本多樣性，文摘應(yīng)最大化地包含文本的原始信息，使得用戶能夠無偏差地理解原始文本的主要思想?；谡鎸嵉木W(wǎng)絡(luò)文本數(shù)據(jù)，本文首先對文本句子建立評分模型：通過統(tǒng)計文本中的詞語數(shù)量來計算文檔詞頻(TF)和反文檔詞頻(DF)，

3、從而建立句子評分模型(TF幸研)。其次對句子進行聚類：在句子評分模型的基礎(chǔ)上充分考慮句子的統(tǒng)計相似性，語義相似性，共指消解以及語篇關(guān)系，將文本模型轉(zhuǎn)化為圖模型，通過給定聚類參數(shù)(是否為有向圖，邊緣選擇條件，語言選擇，閾值等)，對圖模型進行聚類，在聚類形成的每個簇中選擇聯(lián)系最緊密的句子組成文摘結(jié)果。本文提出的一種基于圖模型聚類的文摘方法，能夠較好地消除信息冗余問題，提煉文摘。通過實驗證明，本文的方法與傳統(tǒng)的只基于統(tǒng)計或聚類的方法相比，提高

4、了文摘準(zhǔn)確率。基于圖模型聚類的文本摘要方法研究RESEARCHONDOCIJMENTSI瓜忸ⅥARIZATIONBASEDONTHECLUSTEROFGRAPHABSTRACTTherapid孕Dw吐lofmeh她metyieldedam孫siVemcre雒eofthe鋤ountofiIlf0皿ationaVailable，especiallyregardiI培te)(tdocuments(egblogs，newsarticles，sc

5、ientificpape臨，elec仃011icbooks，etc)Byliberalestimates，廿les娩eofthewebin2014w孫鋤und47billionpages【301Thus，todeaJwimtllela唱e鋤ountofiI怕mationlike廿lis，ith罄becomeiml)0ssibleforhum趾tosicveiIllbm眥ione伍cientlySowehaVetolendah肌d血胍co

6、InputerstoproCessⅡ1eIntemetda：tae箭ciently，scavenginguSe如li晌rmation舶mitTbdeal、Ⅳitllmeproblema_bove，weutil誣tlleresearchondocumentsummarjzationb嬲edon廿leclusterof鯽hs，nlerea∞廿1r。eem血90alsforollrresearch：(i)identi匆tIlereleVant

7、conteIIts15romtexts；(ii)eliIIliIlatered岫d趾tmfom撕叫Agoods眥衄a叮shouldaVoidr印eatedinfo衄￡晡onIkdundancyInaybeperceiVedasakhldof“noise”thata彘ctStlleq訓(xùn)崎ofmefmalsl蛐ma哆(iii)keepahi曲levelofcoVerageofcontents鋤dhlfo衄ationdiVers哆Summar