基于頻繁閉詞序列集的層次聚類算法的研究與實現(xiàn).pdf

1、萬維網(wǎng)產(chǎn)生以后，將遍布全球各地的計算機(jī)聯(lián)系到一起，這些計算機(jī)中的數(shù)據(jù)資源組成的規(guī)模龐大的數(shù)據(jù)庫，擁有了一臺能夠聯(lián)網(wǎng)的計算機(jī)，就等于擁有了整個萬維網(wǎng)上的所有資源，人們不再為缺乏知識來源而發(fā)愁。然而，新的問題也隨之產(chǎn)生，面對如此龐大的數(shù)據(jù)庫，尋找真正需要的信息無異于大海撈針。因此數(shù)據(jù)挖掘技術(shù)應(yīng)運而生，在諸多數(shù)據(jù)格式中文本格式占較大比例，針對文本數(shù)據(jù)的挖掘技術(shù)引起廣泛關(guān)注。文本聚類是文本挖掘中的重要課題，文本聚類主要是指聚集主題相關(guān)文本，分離

2、主題無關(guān)文本。文本聚類的主要過程是先將非格式化的文本數(shù)據(jù)預(yù)處理為格式化數(shù)據(jù)，接著使用聚類算法進(jìn)行聚類。
　　在上述背景下，本文分析了現(xiàn)有的文本聚類方法中的不足，并在此基礎(chǔ)上對改進(jìn)文本預(yù)處理過程和改善聚類算法兩個方面做了深入的研究。本文的主要工作與貢獻(xiàn)如下:
　　本文系統(tǒng)地研究了與文本聚類相關(guān)的每個過程，提出將每個文本中出現(xiàn)的頻繁閉詞序列(Frequent Closed Word Sequence)作為文本特征的思想，這一思想

3、的目的是降低文本數(shù)據(jù)的維度，解決維災(zāi)難問題，增大文本特征選擇的粒度，考慮文本中詞匯的順序性與連續(xù)性在表達(dá)文本主題方面的作用。接著設(shè)計實現(xiàn)一種基于模式增長方式的頻繁閉詞序列的挖掘算法，最后運用在從文本集合中挖掘出的頻繁閉詞序列集，提出基于頻繁閉詞序列集的層次聚類算法(Frequent Closed Word Sequence Set Based Hierarchical ClusteringAlgorithm)，該算法采用頻繁閉詞序列集作