多文檔文摘相關(guān)技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，如何有效地組織和分析信息，提高人們獲取信息的效率，成為滿(mǎn)足人們需求的關(guān)鍵問(wèn)題，這使得多文檔文摘技術(shù)成為研究熱點(diǎn)，其進(jìn)步推動(dòng)了相關(guān)技術(shù)的發(fā)展。自動(dòng)文摘是為了達(dá)到特定用戶(hù)或任務(wù)要求，從信息源中提取重要信息、生成精簡(jiǎn)版本的過(guò)程。多文檔文摘是針對(duì)信息源由多篇關(guān)于同一主題文檔組成的文檔集合。
　　多文檔文摘與單文檔文摘相比面臨冗余信息多、壓縮比大和文摘可讀性差等問(wèn)題。生成一篇好的文摘，不但需要對(duì)文檔進(jìn)行深入地分析，還需

2、要有效的文摘句選擇與排序。文摘句的選擇決定了最終文摘的組成成分，文摘句的排序決定了文摘的可讀性，這兩者都直接影響生成文摘的質(zhì)量。評(píng)測(cè)是自然語(yǔ)言處理技術(shù)研究與發(fā)展的一個(gè)關(guān)鍵部分，評(píng)測(cè)標(biāo)準(zhǔn)的規(guī)范和資源的共享可以使研究成果的比較合理化，對(duì)技術(shù)的發(fā)展起到促進(jìn)作用。文摘的自動(dòng)評(píng)測(cè)一直是個(gè)難點(diǎn)，多文檔文摘由于引入大量相關(guān)、相似信息，進(jìn)一步增加了評(píng)測(cè)的難度。針對(duì)上述問(wèn)題，本文從如下幾個(gè)方面進(jìn)行了研究：
　　1.研究了基于主題簽名的多文檔文摘方法

3、。探討了基于主題簽名的多文檔文摘的關(guān)鍵技術(shù)，實(shí)驗(yàn)驗(yàn)證了基于主題簽名的多文檔文摘方法的有效性，以及各關(guān)鍵技術(shù)對(duì)多文檔文摘性能的影響。加深對(duì)多文檔文摘的理解，為后續(xù)相關(guān)研究提供了很好的基礎(chǔ)和實(shí)驗(yàn)平臺(tái)。
　　2.研究了多文檔文摘句選擇與排序技術(shù)，驗(yàn)證了英文多文檔文摘技術(shù)向中文的可移植性。首先分析目前多文檔文摘句選擇方法及存在問(wèn)題，提出了以文摘結(jié)果整體選優(yōu)為目的采用多候選文摘和兩級(jí)文摘句選擇策略的兩種文摘句選擇方法，驗(yàn)證了所提方法有效地提

4、高了多文檔文摘的性能。其次研究MajorityOrdering句子排序方法及其存在的問(wèn)題，提出了基于內(nèi)聚的句子排序方法，在一定程度上避免了話(huà)題中斷，從而使文摘更加連貫。最后驗(yàn)證了本文提出的英文多文檔文摘相關(guān)技術(shù)在中文文摘上也具有較好的結(jié)果。
　　3.研究了面向文檔集合類(lèi)型的多文檔文摘方法。選取具有代表性的多文檔文摘方法進(jìn)行分析，根據(jù)文檔集合涉及到的事件類(lèi)型、文檔集合涉及的領(lǐng)域分析并指出文檔集合類(lèi)型直接影響多文檔文摘方法生成文摘的質(zhì)

5、量，且多事件文檔集合類(lèi)型是導(dǎo)致多文檔文摘質(zhì)量下降的原因之一，所以提出了一種面向多事件文檔集合類(lèi)型的多文檔文摘方法。所提方法通過(guò)對(duì)文檔集合內(nèi)容主成分獲取確定文檔集合內(nèi)容的主線(xiàn)和輔線(xiàn)，并采用基于主線(xiàn)與輔線(xiàn)的文摘句選擇方法生成文摘。實(shí)驗(yàn)結(jié)果表明，所提方法在多事件文檔集合上生成的文摘質(zhì)量與目前好的多文檔文摘方法在單一事件文檔集合上生成的文摘相當(dāng)，證明了所提出方法的有效性。
　　4.研究了基于內(nèi)容相似度的文摘自動(dòng)評(píng)測(cè)方法。著重分析了基于內(nèi)容

6、完整性的評(píng)測(cè)方法的優(yōu)缺點(diǎn)，在此基礎(chǔ)上，提出基于內(nèi)容相似度的文摘自動(dòng)評(píng)測(cè)方法。在對(duì)較大規(guī)模語(yǔ)料進(jìn)行實(shí)驗(yàn)后，引入統(tǒng)計(jì)相關(guān)分析，驗(yàn)證了該自動(dòng)評(píng)測(cè)方法的有效性。對(duì)比不同項(xiàng)權(quán)重的評(píng)測(cè)結(jié)果，證明了TF-IDF權(quán)重信息的引入改善了缺少評(píng)測(cè)語(yǔ)料的多文檔文摘自動(dòng)評(píng)測(cè)的質(zhì)量。
　　綜上所述，本文主要貢獻(xiàn)在于從文摘整體選優(yōu)角度提出了有效的文摘句選擇方法。提出了基于內(nèi)聚的句子排序方法，在一定程度上避免了話(huà)題中斷，使文摘更加連貫。在一定規(guī)模語(yǔ)料上對(duì)主流多文