基于LDA和圖割的文本主題分割研究.pdf

1、文本分割的本質(zhì)是根據(jù)文本內(nèi)部的主題相似性獲得分割之間的邊界位置，使得分割內(nèi)部具有最大的語義一致性而分割之間的語義一致性相對較小。本文探討基于LDA和圖割的文本主題分割技術(shù)，通過在相似性度量方法中使用LDA等主題模型，并采用改進(jìn)的α-膨脹算法對文本分割的邊界進(jìn)行搜索，提出了基于LDA等主題模型與圖割技術(shù)的文本分割模型。
　　 本文在對前人提出的語義相似性度量方法進(jìn)行概述之后，首先分別討論了LDA、HDP&LDA和CTM等主題模型，

2、然后嘗試將這三個(gè)主題模型用于語義相似性度量，為文本分割提供主題信息。文本分割通常是在獲得文本內(nèi)隱含主題的基礎(chǔ)上進(jìn)行的。由于詞匯是構(gòu)成文本最基本的語義單位，因此可通過對文本內(nèi)部的詞匯進(jìn)行統(tǒng)計(jì)以獲得關(guān)于主題的淺層信息、通過PLSA、LDA等主題模型來表達(dá)文本內(nèi)部的深層語義信息。研究表明，在文本分割中利用LDA模型可明顯提高文本分割的效果。HDP和CTM主題模型作為LDA的衍生模型，相比LDA模型HDP模型可以確定合適的主題數(shù)量，CTM模型引

3、入了主題相關(guān)性。本文通過對比實(shí)驗(yàn)，進(jìn)一步驗(yàn)證了在主題模型中設(shè)定合適的主題數(shù)量和考慮主題之間的相關(guān)性有助于改善文本分割的效果。
　　 本文中使用視覺問題中成熟的圖割算法作為文本分割問題中的邊界搜索方法。目前的文本分割方法在搜索分割邊界時(shí)需要人工給出先驗(yàn)參數(shù)，這些參數(shù)值通常對分割結(jié)果有較大影響，并且僅靠人工方法無法確定理想的參數(shù)值，因此我們引入圖割算法。為了將圖割算法應(yīng)用于文本分割任務(wù)中，本文做了以下三個(gè)方面的工作:通過重新定義文本