基于點(diǎn)間互信息的主題優(yōu)化方法.pdf

1、當(dāng)今世界,隨著信息技術(shù)的不斷進(jìn)步,各類信息資源都以較快的速度增長(zhǎng)并呈現(xiàn)出海量的特征,其中數(shù)據(jù)主要還是以文本的形式出現(xiàn)。信息量已經(jīng)滿足人們的需求,但是如何高效地管理并且使用海量數(shù)據(jù)成為目前迫切需要解決的問(wèn)題,這促進(jìn)了對(duì)文本分類相關(guān)領(lǐng)域的研究。文本分類技術(shù)研究的主要核心內(nèi)容包括兩個(gè)部分:分類模型和文本表示。目前文本表示方法可以分為兩種類型,一種類型是引入語(yǔ)言學(xué)特征;另一種類型利用統(tǒng)計(jì)學(xué)方法挖掘出文本的主題信息。前者由于需要較為復(fù)雜的語(yǔ)言學(xué)特

2、征處理從而降低了整個(gè)系統(tǒng)的效率,其實(shí)用性受到影響;后者的典型代表就是PLSA語(yǔ)義模型以及LDA語(yǔ)義模型。語(yǔ)義模型是一種基于統(tǒng)計(jì)學(xué)理論的概率模型,模型構(gòu)建出“文檔-主題-詞匯”三層結(jié)構(gòu)來(lái)得到數(shù)據(jù)集中的潛在語(yǔ)義(主題)。
　　本文給出了基于點(diǎn)間互信息的LDA(Point-wise Mutual Information Latent Dirichlet Allocation,PMI-LDA)主題模型和基于最近距離的LS(Laplace

3、Score)主題選擇算法。LDA模型不是判別模型,而是一個(gè)生成模型,在生成文本的過(guò)程中通過(guò)EM算法得到潛在的主題層。但是,在利用LDA主題模型生成文本的過(guò)程中,模型會(huì)同等對(duì)待文本中的每一個(gè)單詞,這樣會(huì)造成主題向高頻詞傾斜,同時(shí)還會(huì)造成主題重疊現(xiàn)象。本文的主要貢獻(xiàn)有三點(diǎn):首先,提出 PMI-LDA主題模型,模型能夠克服主題向高頻詞傾斜及主題重疊的問(wèn)題,使得我們提取出的文本主題更能表征一篇文本。實(shí)驗(yàn)證明,本課題提出的算法是可行的。然后,本文

4、還從兩個(gè)角度來(lái)評(píng)價(jià)提取出主題的優(yōu)劣,一是從主題一致性、可讀性上來(lái)評(píng)價(jià),從主題本身出發(fā),根據(jù)主題所包含的單詞的可讀性和一致性,對(duì)主題的優(yōu)劣進(jìn)行評(píng)價(jià);二是從模型中主題的區(qū)別能力和相似性上來(lái)評(píng)價(jià),從整個(gè)模型出發(fā),根據(jù)主題的相似性和區(qū)別能力來(lái)評(píng)價(jià)提取出的主題的優(yōu)劣。從實(shí)驗(yàn)中可以清晰的看到,PMI-LDA主題模型提取出的主題,不管是在可讀性、一致性上,還是在區(qū)別能力、相似性上都優(yōu)于LDA主題模型提取的主題。最后,當(dāng)使用主題作為文本的特征時(shí),根據(jù)主