基于內(nèi)容相關(guān)度計(jì)算的文本結(jié)構(gòu)分析方法研究.pdf

1、文本結(jié)構(gòu)可分為物理和邏輯結(jié)構(gòu)兩種形式，文本的物理結(jié)構(gòu)是指組成文本的基本要素(如標(biāo)題、段落、句子、詞匯和標(biāo)點(diǎn)符號(hào)等)在文本中的實(shí)際位置所決定的結(jié)構(gòu)，可以用向量空間模型予以表示；文本的邏輯結(jié)構(gòu)是指組成文章思想內(nèi)容的主題、層次、段落、句子、主題詞在概念意義上所形成的邏輯關(guān)系，通常用樹(shù)或圖予以表示。文本結(jié)構(gòu)自動(dòng)分析就是期望計(jì)算機(jī)能夠自動(dòng)將一個(gè)文本劃分成互不相交的若干文本單元，或者從語(yǔ)義上將文本解析成為一棵層次結(jié)構(gòu)樹(shù)，以便獲得文章本來(lái)的邏輯結(jié)構(gòu)。

2、
　　 文本結(jié)構(gòu)分析對(duì)于實(shí)現(xiàn)文本理解和文本推理具有重要意義，只有從宏觀上把握文章的邏輯結(jié)構(gòu)，才能更合理的從全局的視角理解文章的主題及中心思想；同時(shí)，文本結(jié)構(gòu)分析結(jié)果對(duì)于文本自動(dòng)摘要、基于篇章段落的信息檢索、話(huà)題檢測(cè)與跟蹤等自然語(yǔ)言處理任務(wù)也具有重要作用和影響。然而，文本結(jié)構(gòu)通常需要在理解上下文內(nèi)容的基礎(chǔ)上才能獲得，而對(duì)語(yǔ)言的理解又超出了目前計(jì)算機(jī)的能力和水平，因此，要使計(jì)算機(jī)在沒(méi)有理解上下文內(nèi)容的前提下，準(zhǔn)確的分析出文本的組織結(jié)

3、構(gòu)，是一個(gè)非常困難的問(wèn)題。
　　 本文根據(jù)文本篇章組織結(jié)構(gòu)理論以及文本組織結(jié)構(gòu)特點(diǎn)，將文本結(jié)構(gòu)分析轉(zhuǎn)換成為線(xiàn)性結(jié)構(gòu)分析或者層次結(jié)構(gòu)分析任務(wù)。據(jù)此，首先通過(guò)研究詞語(yǔ)間語(yǔ)義相關(guān)度計(jì)算方法、句子間語(yǔ)義關(guān)系識(shí)別和句子間語(yǔ)義相關(guān)度計(jì)算方法，進(jìn)行文本上下文內(nèi)容相關(guān)性分析和相關(guān)度計(jì)算，并以此為基礎(chǔ)，研究對(duì)文本進(jìn)行線(xiàn)性結(jié)構(gòu)分析或者層次結(jié)構(gòu)分析的關(guān)鍵技術(shù)和方法。
　　 具體來(lái)說(shuō)，本文的創(chuàng)新性工作主要體現(xiàn)在以下幾個(gè)方面：
　　 (1

4、)對(duì)文本結(jié)構(gòu)進(jìn)行抽象描述。將文本中的“句子”、“標(biāo)題”、“自然段”、“文章”、“主題/子主題”等語(yǔ)言學(xué)概念加以形式標(biāo)記；提出了“基本論證結(jié)構(gòu)”、“遞歸論證結(jié)構(gòu)”、“文本結(jié)構(gòu)樹(shù)”、“文本主題單元”等層次結(jié)構(gòu)概念及表示方法，以便對(duì)文本組織結(jié)構(gòu)模式進(jìn)行抽象描述：對(duì)“主題的級(jí)”、“主題結(jié)點(diǎn)粒度”進(jìn)行了定量化描述和計(jì)算，以便刻畫(huà)文本結(jié)構(gòu)樹(shù)中主題結(jié)點(diǎn)對(duì)內(nèi)容的涵蓋能力。
　　 (2)研究了詞語(yǔ)間語(yǔ)義相關(guān)關(guān)系及相關(guān)度計(jì)算方法。在分析詞語(yǔ)間相關(guān)度

5、和相似度概念關(guān)系的基礎(chǔ)上，提出了詞語(yǔ)間語(yǔ)義廣義相關(guān)度的概念及其相應(yīng)的計(jì)算方法：首先從外延邏輯思想出發(fā)，提出了一種基于語(yǔ)料的、通過(guò)構(gòu)建詞語(yǔ)語(yǔ)義關(guān)系二分圖的方法，來(lái)計(jì)算詞語(yǔ)狹義相關(guān)度；同時(shí)，以漢語(yǔ)概念內(nèi)涵邏輯模型思想為基礎(chǔ)，提出了一種基于詞典內(nèi)涵釋義及釋義項(xiàng)展開(kāi)的詞語(yǔ)語(yǔ)義相關(guān)度計(jì)算方法，其計(jì)算結(jié)果強(qiáng)調(diào)的是詞語(yǔ)在內(nèi)涵概念上的關(guān)聯(lián)關(guān)系；然后，將兩種方法計(jì)算的相關(guān)度結(jié)果進(jìn)行融合，得到詞語(yǔ)語(yǔ)義廣義相關(guān)度。通過(guò)標(biāo)準(zhǔn)的M&C中文版測(cè)試數(shù)據(jù)集評(píng)測(cè)結(jié)果表明

6、，融合得到的廣義相關(guān)度汲取了外延邏輯刻畫(huà)實(shí)體分類(lèi)的優(yōu)勢(shì)和內(nèi)涵邏輯刻畫(huà)漢語(yǔ)凸顯實(shí)體內(nèi)涵屬性特征的優(yōu)勢(shì)，取長(zhǎng)補(bǔ)短、優(yōu)勢(shì)互補(bǔ)，其計(jì)算結(jié)果更接近人的認(rèn)知和判斷。
　　 (3)研究了語(yǔ)篇上下文句子之間語(yǔ)義關(guān)系及相關(guān)度計(jì)算方法。首先，根據(jù)語(yǔ)言學(xué)界總結(jié)的句際語(yǔ)義關(guān)系和它對(duì)應(yīng)的詞語(yǔ)形式標(biāo)記，提出了一種機(jī)器自動(dòng)識(shí)別上下文句際語(yǔ)義關(guān)系的方法(定性方法)，包括詞語(yǔ)形式模板的獲取、模板沖突消解的方法以及句際語(yǔ)義關(guān)系識(shí)別算法，并用實(shí)驗(yàn)驗(yàn)證了該方法的有效性

7、和識(shí)別效果；其次，提出了一種基于詞語(yǔ)廣義相關(guān)度的句子間相關(guān)度計(jì)算方法(定量方法)，實(shí)驗(yàn)表明，本文提出的句子間相關(guān)度計(jì)算結(jié)果比句子間相似度計(jì)算結(jié)果更接近人的理解和判斷。
　　 (4)根據(jù)詞語(yǔ)廣義相關(guān)度計(jì)算方法、句際語(yǔ)義關(guān)系分析與相關(guān)度計(jì)算方法，研究了文本線(xiàn)性結(jié)構(gòu)分析中的相關(guān)問(wèn)題，提出了一種基于內(nèi)容相關(guān)性分析的文本分割方法，實(shí)驗(yàn)表明，本文提出的方法在文本分割性能上要好于經(jīng)典的TextTiling算法，而且也好于現(xiàn)有文獻(xiàn)報(bào)道的面向中文

8、的文本分割算法的性能。
　　 (5)研究了文本層次結(jié)構(gòu)分析的相關(guān)問(wèn)題，并假定同一類(lèi)型的文本應(yīng)該具有相同或相似的組織結(jié)構(gòu)模式。據(jù)此，提出了一種基于Naive Bayes模型的文本層次結(jié)構(gòu)分析方法，即用Naive Bayes模型從訓(xùn)練文本中學(xué)習(xí)文本的組織結(jié)構(gòu)模式，再根據(jù)獲取得到的文本組織結(jié)構(gòu)模式，對(duì)待分析的同類(lèi)型文本，按照自底向上的方式，遞歸的向上歸并，直到生成只包含一個(gè)根結(jié)點(diǎn)的文本結(jié)構(gòu)樹(shù)。同時(shí)，提出了一種基于生物序列比對(duì)算法的文本