基于Web頁面特征的聚類算法研究及實現.pdf

1、隨著Internet/Web技術的快速普及和迅猛發(fā)展，Web數據已成為當今世界第一大“數據倉庫”，怎樣從海量的Web數據中發(fā)現知識，造福于人類，是Web數據挖掘這項技術被時代賦予的使命。然而，Web數據是異構的、非結構化的、動態(tài)變化的，這就要求我們首先將 Web頁面分類(聚類)，然后對不同的分類設計分裝器(Wrapper)，進行信息抽取，最后對得到的結構化數據進行分析和知識發(fā)現；由此可見Web聚類這項技術在數據挖掘中的重要地位。

2、　　 目前，基于Web頁面聚類的研究領域，已經取得了很多成果；但是，真正將Web聚類應用到Web內容挖掘領域，使得聚類結果服務于信息抽取和知識發(fā)現的研究成果并不是很多，主要有基于文本內容的Web頁面主題聚類和基于Web頁面結構的聚類；前者僅考慮Web頁面的內容信息，聚類時間效率低，而后者巧妙的利用了Web頁面的組織結構，但是沒有利用Web頁面提供的內容信息，聚類結果的實用性和準確性被降低；如果能夠將兩者結合，則一定能夠提高聚類質量，這

3、也是本文討論的重點。
　　 本文的主要工作和意義在于，分析了基于Web頁面的聚類算法，并在此基礎上闡述了一種基于Web頁面鏈接結構和標簽信息的聚類方法CWPBLT(Clustering Web Pages Based on their Links and Tags)，它是在總結前人有關Web聚類工作的基礎上拓展出來的一種Web頁面聚類方法，它在聚類的過程中同時兼顧了Web頁面結構和Web標簽提供的內容信息,采用了最小描述長度法(