基于支持向量機(jī)的一體化分詞聚類研究.pdf

1、本文研究的目的是建立一個(gè)統(tǒng)一的分詞，聚類，語義空間模型。我們使用了面向?qū)ο蟮姆椒?，有利于本系統(tǒng)的結(jié)構(gòu)的升級(jí)和修改。
　　 本文主要的工作由三部分組成：分詞，聚類，使用分詞、聚類的結(jié)果建立語義空間。分詞，聚類統(tǒng)一使用統(tǒng)計(jì)學(xué)習(xí)的方法進(jìn)行處理。
　　 分詞技術(shù)是進(jìn)行高級(jí)自然語言理解，檢索，等工作的前提。本文通過統(tǒng)計(jì)學(xué)習(xí)理論，著重研究在小樣本情況下的統(tǒng)計(jì)規(guī)律及學(xué)習(xí)方法性質(zhì)。它為機(jī)器學(xué)習(xí)問題建立了一個(gè)較好的理論框架，也應(yīng)用發(fā)展了一

2、種新的通用學(xué)習(xí)算法：支持向量機(jī)(SVM)。本文從支持向量機(jī)理論、方法和應(yīng)用結(jié)合的角度出發(fā)，研究了支持向量機(jī)在中文分詞中的應(yīng)用。
　　 然后對(duì)于分詞結(jié)果建立倒排索引的同時(shí)，進(jìn)行詞聚類。這同樣也使用到了支持向量機(jī)。對(duì)于分詞時(shí)用到的統(tǒng)計(jì)信息可以在聚類時(shí)繼續(xù)使用，降低了程序的代價(jià)。這是一種提高效率的方法。
　　 最后，研究了語義空間建立的問題，使用分詞，聚類的結(jié)果，使用PLSI方法建立語義空間矩陣，對(duì)文章進(jìn)行淺層次的理解。