基于對(duì)話的主題提取研究.pdf

1、隨著社會(huì)信息化步伐日益加快和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人們的溝通方式也隨之發(fā)生改變，通過網(wǎng)絡(luò)與他人進(jìn)行交流的方式日益取代了書信的方式，網(wǎng)絡(luò)文本數(shù)據(jù)的數(shù)量日益增加。因此對(duì)海量網(wǎng)絡(luò)文本數(shù)據(jù)的信息處理和數(shù)據(jù)挖掘具有非常重要的意義，并引起了國內(nèi)外研究者的密切關(guān)注。其中一個(gè)研究方向是對(duì)網(wǎng)絡(luò)對(duì)話信息的主題提取，它可應(yīng)用于問答系統(tǒng)、網(wǎng)絡(luò)信息安全、情報(bào)獲取等多個(gè)領(lǐng)域。
　　 通過研究書面語文本的主題提取方法及了解國內(nèi)外對(duì)對(duì)話文本主題提取技術(shù)的研究現(xiàn)狀

2、，總結(jié)了對(duì)話與書面語的語言特點(diǎn)差異。書面語具有結(jié)構(gòu)緊湊、用語規(guī)范、主題思路清晰的特點(diǎn)，但是對(duì)話具有含大量問-答對(duì)且問-答對(duì)中信息相對(duì)重要、多主題且主題之間邊界模糊、主題交織且組織結(jié)構(gòu)混亂等特點(diǎn)。從而認(rèn)識(shí)到用于書面文本的主題提取方法不能直接適用于對(duì)話文本的主題提取，需要對(duì)對(duì)話的各個(gè)特點(diǎn)進(jìn)行有針對(duì)性的處理，才能提高對(duì)話文本主題提取的準(zhǔn)確率。
　　 基于上述思想，設(shè)計(jì)了一個(gè)基于對(duì)話的主題提取系統(tǒng)，主要包括問-答對(duì)探測模塊、主題切分模塊

3、、主題樹生成模塊等。其中問-答對(duì)探測模塊主要針對(duì)對(duì)話里含有大量問-答對(duì)且問-答對(duì)中信息相對(duì)重要的特點(diǎn)，使用了機(jī)器學(xué)習(xí)的方法探測問句和其相對(duì)應(yīng)的答句；主題切分模塊針對(duì)的是對(duì)話中多主題且主題之間邊界模糊的特點(diǎn)，通過主題概率模型得到詞匯在語句中的分布概率，從而獲得相鄰語句之間的邊界點(diǎn)；主題樹生成模塊針對(duì)對(duì)話中主題交織，組織結(jié)構(gòu)混亂的特點(diǎn)，使用融入語言特征的聚類算法將切分后的語塊按主題重新歸類。
　　 最后對(duì)問-答對(duì)探測模塊進(jìn)行了仿真實(shí)

4、驗(yàn)和對(duì)主題句抽取模塊進(jìn)行了測試。在對(duì)問-答對(duì)探測模塊的仿真實(shí)驗(yàn)中，使用C4.5 決策樹和樸素貝葉斯兩種分類器對(duì)問（答）句進(jìn)行判別。通過比較分類器對(duì)訓(xùn)練集和測試集的問（答）句和非問（答）句的判別性能，以及選擇了不同的特征集進(jìn)行了多次測試和分析，得到了一系列的比對(duì)結(jié)果。對(duì)照比對(duì)結(jié)果，討論了在不同情況下兩種分類器在判別問（答）句的性能優(yōu)缺點(diǎn)，從而得到了在不同情況下應(yīng)該選取何種句子特征集與分類器的結(jié)論。在對(duì)主題句抽取模塊的測試中，通過測試不同數(shù)