面向Web論壇的自動(dòng)文摘方法的研究.pdf

1、信息社會(huì)的快速發(fā)展在改變?nèi)藗儷@取信息的規(guī)模和方式的同時(shí)，也對(duì)信息檢索領(lǐng)域的相關(guān)研究提出了新的要求。作為互聯(lián)網(wǎng)上最流行的在線交流和信息發(fā)布平臺(tái)，Web論壇在研究領(lǐng)域所受關(guān)注日益增加。由于Web論壇具有數(shù)據(jù)量大、信息重復(fù)度高、噪聲信息多等特點(diǎn)，如何快速準(zhǔn)確的獲取其主要內(nèi)容成為許多基于Web論壇應(yīng)用面臨的首要問(wèn)題，而自動(dòng)文檔摘要的研究為解決這個(gè)問(wèn)題提供了一種途徑。
　　 在自動(dòng)文摘領(lǐng)域，通用文摘方法多以學(xué)術(shù)或者新聞文章作為研究對(duì)象，并

2、基于各種通用特征構(gòu)建。在處理Web論壇文章時(shí)，由于該類方法沒(méi)有考慮論壇文章的特殊性，在內(nèi)容理解和結(jié)構(gòu)分析上有一定偏差，摘要效果有待提高。而在專用文摘方法領(lǐng)域也缺少處理Web論壇文章的相應(yīng)方法。本文根據(jù)論壇文章的特點(diǎn)，如以帖子為基本組成結(jié)構(gòu)、噪聲回復(fù)多、同義詞專用詞常現(xiàn)、存在大量評(píng)論關(guān)系等，對(duì)面向Web論壇的自動(dòng)文摘方法進(jìn)行研究，提出了相應(yīng)的專用文摘方法，并通過(guò)實(shí)驗(yàn)證明了其有效性。總結(jié)本文主要貢獻(xiàn)如下：
　　 1.根據(jù)文章內(nèi)容連貫

3、性標(biāo)準(zhǔn)，提出了基于上下文相關(guān)性的噪聲回復(fù)過(guò)濾算法。根據(jù)論壇文章同義詞專用詞多的特點(diǎn)，在相似度計(jì)算中引入了論壇專用詞匯詞典。通過(guò)實(shí)驗(yàn)證明，該方法在過(guò)濾噪聲回復(fù)時(shí)有較高的準(zhǔn)確率和正確率，而論壇詞典能夠有效提高語(yǔ)義相似度計(jì)算的準(zhǔn)確性。
　　 2.提出多種特征用以描述論壇文章的特點(diǎn)。根據(jù)討論式文體的特點(diǎn)，本文提出了提及和引用兩種特征。其中提及特征描述用戶間的關(guān)系，而引用特征描述帖子間的關(guān)系?；谶@些特征使用了多特征的句子權(quán)重計(jì)算方法。在

4、相關(guān)實(shí)驗(yàn)中，本文提出的特征能有效提高摘要方法的效果，其中提及和引用特征的效果是所有特征中最明顯的。
　　 3.提出了基于k-Means和基于LDA模型的子主題識(shí)別方法。在LDA方法中，通過(guò)LDA模型對(duì)文檔集合建模，獲得文章的潛在子主題，并計(jì)算出子主題和句子的重要度。通過(guò)實(shí)驗(yàn)證明，基于LDA模型的方法在描述子主題時(shí)效果優(yōu)于基于k-Means的方法。
　　 4.基于以上幾項(xiàng)改進(jìn)，本文提出了一個(gè)面向Web論壇的自動(dòng)文摘方法。該