基于XML的文本結(jié)構(gòu)信息抽取與聚類(lèi)研究.pdf

1、網(wǎng)絡(luò)信息檢索面臨大量半結(jié)構(gòu)化XML及非結(jié)構(gòu)化自由文本的混合大數(shù)據(jù)，如何快速、準(zhǔn)確、統(tǒng)一地處理這些數(shù)據(jù)是信息處理領(lǐng)域研究的熱點(diǎn)。與普通文本文檔相比，XML帶有一定的結(jié)構(gòu)和語(yǔ)義信息，因此基于XML的數(shù)據(jù)集成和深度利用比起普通文本具有描述精確、表現(xiàn)形式豐富等特點(diǎn)，但同時(shí)也使得傳統(tǒng)的自然語(yǔ)言處理和數(shù)據(jù)挖掘等技術(shù)不能直接應(yīng)用。本文工作圍繞基于XML的文本結(jié)構(gòu)抽取和聚類(lèi)技術(shù)涉及到的一系列關(guān)鍵問(wèn)題展開(kāi)，主要包括以下內(nèi)容:
　　(1)給出了對(duì)自由

2、文本進(jìn)行層次結(jié)構(gòu)抽取的統(tǒng)計(jì)模型。針對(duì)傳統(tǒng)的信息抽取方法大多忽略文本內(nèi)在語(yǔ)義以及標(biāo)注結(jié)果單層、缺少語(yǔ)境等問(wèn)題，分別從通用的基于隱馬爾科夫模型和面向領(lǐng)域的基于條件隨機(jī)場(chǎng)模型對(duì)自由文本的層次結(jié)構(gòu)信息抽取進(jìn)行了研究，通過(guò)對(duì)文本基于語(yǔ)義的結(jié)構(gòu)抽取并借助XML的再現(xiàn)，使得數(shù)據(jù)具有豐富的表達(dá)形式和精確的語(yǔ)義描述。
　　(2)提出了一種基于頻率和路徑的XML結(jié)構(gòu)相似度計(jì)算方法。針對(duì)XML的結(jié)構(gòu)特征以及傳統(tǒng)相似度計(jì)算方法不能直接應(yīng)用于XML文檔的問(wèn)

3、題，在路徑匹配上采用了一種最長(zhǎng)公共子序列的匹配方法，提高了對(duì)路徑節(jié)點(diǎn)語(yǔ)義和語(yǔ)境信息的捕獲能力;在相似度計(jì)算中引入了頻率和位置權(quán)重，改善了對(duì)語(yǔ)境識(shí)別的敏感度，從而提高了XML結(jié)構(gòu)相似度計(jì)算的性能。
　　(3)提出了一種基于張量的XML特征降維及綜合相似度計(jì)算方法。由于XML內(nèi)容和結(jié)構(gòu)并非獨(dú)立，內(nèi)容影響結(jié)構(gòu)，結(jié)構(gòu)作用內(nèi)容，給出了針對(duì)XML文檔的張量表示并采用基于最大互信息的方法對(duì)其進(jìn)行降維，從非線性的角度設(shè)計(jì)了一種將XML結(jié)構(gòu)和內(nèi)容相

4、融合的綜合相似度度量方法，確定了結(jié)構(gòu)和內(nèi)容的內(nèi)在聯(lián)系和共同作用的方式，提高了XML綜合相似度計(jì)算的性能。
　　(4)給出了一種簡(jiǎn)單快速的增量XML聚類(lèi)算法。針對(duì)傳統(tǒng)的增量聚類(lèi)方法不能直接利用XML文檔的特征以及存在的問(wèn)題，從XML文檔的構(gòu)成作為出發(fā)點(diǎn)，給出了一種有效的鄰域中心聚類(lèi)的方法，直接使用XML文檔的結(jié)構(gòu)或綜合相似度度量，其聚類(lèi)結(jié)果具有對(duì)隨機(jī)初始中心的選擇不敏感、不規(guī)則聚簇形狀以及過(guò)濾噪聲等優(yōu)點(diǎn)。
　　本文工作內(nèi)容適合