網站主題分析、標引與檢索技術的研究.pdf

1、隨著社會分工向專業(yè)化細分方向的發(fā)展，“專、精、深”的專業(yè)化信息服務需求日益增大，網絡中涌現(xiàn)出了大量的專業(yè)化信息網站，搜索引擎技術也逐漸從通用搜索向專業(yè)搜索方面演變，其中針對提供自動化的網站分類導航服務的相關技術成為了信息處理領域近年十分活躍的熱點研究問題。
　　基于主題標引的智能網站檢索(ThemeIndexingbasedWebSiteRetrival，TTWR)便是以主題網站(Single-ThemeWebsite)為檢索目標

2、，結合網站拓撲結構等特有的相關特征，以主題分析標引技術為核心，為提供自動化的網站檢索服務而開展的相關技術研究。
　　根據(jù)以上研究目的，本文首先分析了智能網站檢索技術的構造與實現(xiàn)，提出了基于主題標引的智能網站檢索系統(tǒng)的系統(tǒng)結構與實現(xiàn)策略，之后對系統(tǒng)中的主題分析、標引與檢索等關鍵技術進行了深入分析，針對主要技術難點重點討論了網頁正文抽取，網站拓撲結構分析，網站主題獲取等相關實現(xiàn)技術，提出了基于標簽間距的正文抽取算法，基于URL目錄相似

3、度的網站結構分析算法和基于網站結構的網站主題概念獲取算法等解決方案。最后在以上算法與理論的基礎上，整合實現(xiàn)了智能網站檢索的信息采集實驗系統(tǒng)，經過實驗分析與評價，取得了較好的網站主題標引結果。
　　本文提出的網站主題分析、標引與檢索技術為網站檢索提供了新的解決方案，提供了更適于傳統(tǒng)信息檢索模型與用戶檢索習慣的標引技術，使之避免了傳統(tǒng)分類問題中構建類別體系的單一性與用戶需求的多樣性之間的矛盾，克服了傳統(tǒng)信息檢索與分類模式中可能出現(xiàn)的部