行業(yè)網站分類方法研究與應用.pdf

1、文章主要討論自學習行業(yè)網站分類方法研究中的一些關鍵技術，并在此基礎上設計和實現了一個行業(yè)網站分類系統進行。通過對特定行業(yè)“種子”網站的鏈接結構進行分析，系統將有選擇的從互聯網抓取網頁，對當前的行業(yè)網站集合進行擴展；同時，通過分析行業(yè)網站的層次結構，獲取最能代表網站主題的那部分頁面，關鍵詞模型的構建和網站主題的識別都將基于這部分頁面，通過將這部分頁面和現有的關鍵詞模型進行匹配度分析來確定一個網站是否應該被加入當前行業(yè)網站集合中，重復這個過

2、程，最終達到對行業(yè)網站進行分類的目的。 論文工作主要包括以下三方面的內容： (1)網站主題關鍵詞模型 關鍵詞模型首先來自于對“種子網站”的分析，隨著網站群體的擴展，可以對模型進行動態(tài)的調整。適合采用的關鍵詞模型技術包括向量空間模型和概率檢索模型等。無論采用哪種模型，都將包含多個信息項，比如：詞頻、引用數、語義關聯性等。 (2)專業(yè)網站有用鏈接分布情況研究 對于行業(yè)網站分類系統而言，能否盡可能多地發(fā)

3、現屬于該行業(yè)的網站對于行業(yè)網站分類結果的完整性有著決定性的影響，而這，又是由分類系統能否盡可能多的提取出指向同行業(yè)其他網站的鏈接的能力決定的，在本文中，我們稱這種指向同一個行業(yè)其他網站的鏈接為有用鏈接。作者通過對醫(yī)藥類行業(yè)網站的有用鏈接分布情況進行研究、實驗，發(fā)現了專業(yè)網站內有用鏈接分布的一般規(guī)律，利用這個規(guī)律，能夠提高系統的效率和有用鏈接的發(fā)現能力。 (3)最能代表網站主題的網頁確定算法 相對于現有的網站識別、分類系統

4、，本系統在進行主題判斷時，是以網站為單位。同時，對網站主題的判斷不是簡單的對該網站所有網頁的主題進行計算后累加，而是通過對最能代表網站主題的那部分網頁進行主題計算，以計算結果作為網站主題的判斷結果，從而提高主題判斷效率；但是，隨之而來的問題是在一個網站中，如何確定哪些網頁最能代表該網站主題，這是論文的一個主要研究內容。 實驗結果表明論文的工作是相當有成效的，尤其是網站主題的概念以及有用鏈接分布情況的研究，具有很強的創(chuàng)新性和實用價