WEB日志過濾技術的研究與實現.pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來越多，而如何利用這些海量數據來更好的為用戶服務成為當今的研究熱題。Web日志挖掘把傳統(tǒng)的數據挖掘技術應用到Web日志中，獲取網站使用情況的有價值模式，應用于個性化服務、網站設計和商業(yè)決策等方面。而數據預處理在Web日志挖掘過程中起著至關重要的作用，其中本文提到的Web日志過濾技術屬于數據預處理的一種。
　　Web日志過濾技術是指對用戶瀏覽網站所留下的訪問記錄，即Web日志

2、進行過濾，其目的是要過濾掉那些不能體現用戶興趣的日志記錄，如圖片信息、網站主頁導航頁等，而留下那些可以體現用戶興趣的記錄。為了實現Web日志過濾技術本文中提出了兩種方法，一種是基于鏈接規(guī)則的日志過濾技術，另一種是基于網頁內容的日志過濾技術。
　　基于鏈接規(guī)則的過濾技術是在對日志記錄進行詳細分類基礎上，人工校對每種鏈接是否包含用戶興趣，然后對那些包含用戶興趣的鏈接，根據鏈接特點生成過濾規(guī)則進行過濾。其特點是準確，速度快，但是缺點是統(tǒng)

3、計日志記錄以及人工校對效率低，且生成的規(guī)則隨著網站結構變化易失效。
　　基于網頁內容的過濾技術是指對日志記錄中URL對應的網頁進行文本分類，來判斷其是否包含用戶興趣，予以過濾，這是本文的主要內容。其主要包括網頁結構信息的KNN分類和網頁正文信息的SVM分類兩個部分，最后根據兩個分類器的結果進行判斷?；诰W頁內容的日志過濾雖然在過濾階段效率上不如基于鏈接規(guī)則的日志過濾，但是它可以解決基于規(guī)則過濾的人工校對效率低和易失效的缺點，并且擁