基于Web文本的聚類算法的應用研究.pdf

1、隨著因特網的訊速發(fā)展，互聯網的數據信息量越來越大。如何對互聯網的信息進行分析，便捷準確的挖掘出需要的信息知識急需解決。對聚類分析的研究可在相當程度上解決這個問題，不僅可以節(jié)省時間，并且可以提高效率。將聚類研究理論用于Web挖掘具有深刻的理論意義和重要的實際價值。本文從理論和實踐兩個方面分析與研究了聚類技術在Web文本挖掘中的應用。 Web文本挖掘涉及眾多領域的重要內容，包括：數據挖掘、信息檢索、智能算法等。而本文研究的文本聚類

2、技術是其中的重要內容之一，它不僅是一種非指導學習方法，而且不需干涉，可由計算機自動處理。 本文研究的重點是通過文本聚類技術對中文文本對象進行聚類操作，首先有側重點的對挖掘過程中的重要階段進行研究，主要包含文本的預處理階、聚類分析階段。在預處理階段，根據特征選取的特點，利用遺傳學的基本知識采用一種基于遺傳策略的特征選取方法。它可以在非監(jiān)督學習的情況下對用特征向量來表示的文本個體進行降維操作，可以起到降低聚類算法的復雜度，保證聚類精

3、度的作用。在聚類算法階段，通過比較各種聚類算法的優(yōu)缺點，重點分析了經典的K-means算法，然后提出一種對孤立點先檢測再提取最后歸并的改進K-means(WIPD)算法。改進的WIPD算法首先遍歷整個樣本數據集，找出所有的孤立點等異常數據進行提取，接下來對提取后的樣本集進行聚類，在處理時采用自適應策略與基于最大距離的聚類中心相結合的選取方法，在相當程度上避免了聚類結果陷入局部最優(yōu)的局面，在聚類完成后再將這些孤立點整理后歸并入聚類結果當中