大規(guī)模文本聚類技術(shù)比較分析及在詞義歸納中的應(yīng)用.pdf

1、聚類是數(shù)據(jù)挖掘領(lǐng)域中的研究熱點(diǎn)。隨著Internet的發(fā)展，人們面對(duì)的信息與日膨脹，有效的組織無(wú)序的信息，生成結(jié)構(gòu)化組織形式，使用戶能夠輕松的找到自己需要的信息成為聚類發(fā)展的無(wú)限動(dòng)力。
　　將文本聚類，自動(dòng)組織文本需要經(jīng)過(guò)文本預(yù)處理，聚類，然后根據(jù)需要對(duì)聚類結(jié)果給出評(píng)價(jià)。涉及到的關(guān)鍵技術(shù)有空間向量模型(VSM)，聚類分析算法，聚類結(jié)果評(píng)價(jià)方法等。
　　目前大多數(shù)文本聚類的研究?jī)H給出一種聚類算法及其改進(jìn)算法在文本數(shù)據(jù)上的性能比

2、較和分析。沒(méi)有一份在同一數(shù)據(jù)平臺(tái)上各種不同聚類算法的對(duì)比分析報(bào)告，沒(méi)有詳細(xì)的關(guān)于基于不同思想的聚類分析算法的優(yōu)缺點(diǎn)的說(shuō)明。本文詳細(xì)的分析和比較了基于劃分的方法、層次聚類方法、基于密度的聚類方法在同一數(shù)據(jù)集上的性能，說(shuō)明了不同聚類算法適合的數(shù)據(jù)分布，彌補(bǔ)了這一空白。
　　對(duì)于大部分聚類算法并不適合大規(guī)模的數(shù)據(jù)集，有些算法在大規(guī)模數(shù)據(jù)集上甚至不能運(yùn)行，如凝聚層次聚類。而Internet的發(fā)展給文本聚類帶來(lái)大規(guī)模的挑戰(zhàn)。本文最后提出了一