Web信息獲取技術研究.pdf

1、隨著互聯(lián)網(wǎng)的興起和信息時代的到來,Web信息獲取技術成為當今世界上一大研究的熱點.如何最準確的獲得人們感興趣的信息,成為Web信息獲取技術研究的重中之重.然而由于互聯(lián)網(wǎng)內(nèi)部的多樣性以及文檔結構的復雜性,Web信息獲取技術的研究具有一定的困難,很難涵蓋所有范圍,專業(yè)搜索引擎成為解決這一問題的主要方法.該文選取當今世界上公認最好的計算機專業(yè)科學文獻搜索引擎Citeseer進行研究,試圖提出一種方案,使科學工作者根據(jù)自己的興趣能更加方便、準確

2、的通過Citeseer網(wǎng)站獲取計算機類文獻.該文的工作包括:1.針對Citeseer網(wǎng)站的文獻搜集和分析在對互聯(lián)網(wǎng)上的信息進行處理時,常常要將分布在互聯(lián)網(wǎng)各處的Web頁面下載到本地供進一步處理,因此該文設計網(wǎng)絡爬蟲,根據(jù)Citeseer網(wǎng)站中文獻頁面對應的鏈接具有的特定形式,將文獻頁面的Html源代碼下載到本地數(shù)據(jù)庫中;再根據(jù)文獻頁面顯示樣式所具有的特定規(guī)律進行分析,根據(jù)需要從中提取各類信息,分類存儲到數(shù)據(jù)庫各個表中,以供進一步研究使用

3、.2.基于內(nèi)容和拓撲結構的文獻質(zhì)量評價該文在Citeseer搜索的結果文獻集的基礎上,分別根據(jù)內(nèi)容和拓撲結構對這些文獻進行重新評價,根據(jù)評價結果對文獻集進行重新排序,以找到感興趣的文獻.該文中基于內(nèi)容的文獻質(zhì)量評價根據(jù)事先提供的好文獻構造"語境圖"找到各類樣本,分類算法采用樸素貝葉斯理論;基于拓撲結構的文獻質(zhì)量評價采用PageRank算法進行.實驗結果表明,這兩種評價方法分別從主觀和客觀角度體現(xiàn)了文獻的質(zhì)量.3.提出基于內(nèi)容和拓撲結構相