聚類技術(shù)的若干問題研究.pdf

1、聚類分析源于數(shù)學和統(tǒng)計學，應(yīng)用于計算機科學、生物學和經(jīng)濟學等領(lǐng)域，它是數(shù)據(jù)挖掘技術(shù)中的經(jīng)典方法，旨在針對數(shù)據(jù)對象的特點，基于某種相似性度量標準將數(shù)據(jù)對象聚集到相應(yīng)的簇中。該方法首先針對待分類數(shù)據(jù)的特點進行透徹的分析，并構(gòu)造相似性度量準則，然后基于相似度設(shè)計相應(yīng)的聚類算法，從而實現(xiàn)分類的目的。雖然聚類分析方法在文本分類、Web頁面分類、Web用戶分類及空間數(shù)據(jù)分析等問題中已取得了成功的應(yīng)用，但不同的應(yīng)用環(huán)境下，各種方法的效果也各不相同。因

2、此本文擬深入討論聚類分析方法在多數(shù)據(jù)庫分類及文本分類上的應(yīng)用。
　　大型企業(yè)，尤其是跨國公司，隨著信息技術(shù)的進步、自身規(guī)模的發(fā)展和分支機構(gòu)的擴充，積累了越來越多的事務(wù)數(shù)據(jù)庫，學術(shù)界稱之為多數(shù)據(jù)庫。多數(shù)據(jù)庫不僅包含的數(shù)據(jù)庫數(shù)目眾多，其中各數(shù)據(jù)庫所積累的數(shù)據(jù)量也非常龐大，傳統(tǒng)的單一數(shù)據(jù)庫挖掘技術(shù)已無法滿足多數(shù)據(jù)庫挖掘的需要。事實證明先對多數(shù)據(jù)庫分類再按類挖掘模式的方法是目前最有效的挖掘策略，因此多數(shù)據(jù)庫分類已成為聚類分析所需解決的新的

3、技術(shù)問題。本文針對多數(shù)據(jù)庫中數(shù)據(jù)對象的特點，基于當前的研究基礎(chǔ)，構(gòu)造了新的優(yōu)秀度衡量標準，并設(shè)計了相應(yīng)的聚類算法。
　　文本是廣為使用的信息載體，文本信息處理是一種涵蓋了統(tǒng)計學、機器學習、模式識別及數(shù)據(jù)挖掘等技術(shù)的多學科綜合研究領(lǐng)域。由于文本數(shù)量的龐大，最有效的挖掘方法是先對文本進行分類，然后以類為單位挖掘模式，因此，文本分類已成為文本信息處理中的一項重要課題。文本是詞的集合，在某種程度上，文本中的詞等同于事務(wù)數(shù)據(jù)庫中的事務(wù)項，因

4、此文本數(shù)據(jù)對象與多數(shù)據(jù)庫數(shù)據(jù)對象有著內(nèi)在的關(guān)聯(lián)，多數(shù)據(jù)庫分類中所建立的聚類策略可以映射到文本分類問題上。
　　研究過程中，首先詳細了解了聚類分析方法的技術(shù)基礎(chǔ)，深入研究了多數(shù)據(jù)庫和文本挖掘的理論知識;然后根據(jù)多數(shù)據(jù)庫數(shù)據(jù)對象的特征，構(gòu)造了新的聚類優(yōu)秀度評價標準，并將這一標準類推到文本分類中;最后分別針對多數(shù)據(jù)庫和文本對象設(shè)計了相應(yīng)的聚類算法，并用實驗證明了算法的有效性。主要研究內(nèi)容如下:
　　(1)在現(xiàn)有多數(shù)據(jù)庫聚類算法的基

5、礎(chǔ)上，提出了改進方法。
　　雖然多數(shù)據(jù)庫聚類算法已取得一定的成果，但目前的方法仍可能在選擇最優(yōu)聚類的過程中錯過真正的最優(yōu)結(jié)果。對于這種情況，我們在現(xiàn)有算法的基礎(chǔ)上提出了一種改進方法，旨在得到完全的候選聚類集合，并在人工數(shù)據(jù)集上進行了實驗，結(jié)果表明該算法能得到更優(yōu)秀的聚類，但是算法的時間復(fù)雜度相對較高，適用于精度要求較高的分類環(huán)境。
　　(2)設(shè)計了一種基于PAntSC*算法的多數(shù)據(jù)庫聚類方法
　　PAntSC*算法已被

6、應(yīng)用在文本分類中，但需要事先提供目標類別的個數(shù)，本文在PAntSC*算法基礎(chǔ)上進行了改進，并應(yīng)用于多數(shù)據(jù)庫分類問題上。聚類過程中，我們首先根據(jù)各數(shù)據(jù)庫的輪廓系數(shù)建立數(shù)據(jù)庫聚類序列L，然后基于改進的PAntSC*算法將數(shù)據(jù)庫依次聚集到相應(yīng)的類別中，最后根據(jù)結(jié)果評價標準確定最優(yōu)聚類。該方法避免了Huffman算法需要事先指定類別數(shù)量的局限性，應(yīng)用性能較強。
　　(3)提出了一種基于Huffman樹思想的文本聚類算法
　　文本是句

7、子的集合，句子由“詞”構(gòu)成，事務(wù)數(shù)據(jù)庫是記錄的集合，記錄由事務(wù)項構(gòu)成，因此文本分類和多數(shù)據(jù)庫分類中的數(shù)據(jù)對象間存在著內(nèi)在的關(guān)聯(lián)。我們利用在多數(shù)據(jù)庫分類中所積累的技術(shù)方法，針對文本數(shù)據(jù)的特性，構(gòu)造了新的文本相似性度量準則，提出了基于Huffman樹思想的文本聚類算法，并根據(jù)優(yōu)秀度評價標準篩選出最優(yōu)的聚類結(jié)果。針對我們所提出的方法，在中文分類語料庫上進行了實驗，雖然得到的結(jié)果并不是最理想的，但證明了該文本聚類算法的可行性。
　　本文針