Web信息獲取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的普及與發(fā)展，信息獲取已經(jīng)從通過(guò)手工獲取信息、通過(guò)計(jì)算機(jī)獲取信息，發(fā)展到通過(guò)網(wǎng)絡(luò)獲取信息。如今的網(wǎng)頁(yè)數(shù)以?xún)|計(jì)，要在浩如煙海的網(wǎng)絡(luò)世界尋找需要的信息，作為現(xiàn)代信息獲取技術(shù)的主要應(yīng)用—搜索引擎是必不可少的。論文研究的目的是希望通過(guò)對(duì)基于超鏈分析的采集策略進(jìn)行研究，探索提高搜索引擎中網(wǎng)頁(yè)采集器采集性能的方法。 網(wǎng)頁(yè)采集器是一種能夠自動(dòng)從互聯(lián)網(wǎng)上采集網(wǎng)頁(yè)的軟件，它決定著搜索引擎的數(shù)據(jù)是否豐富，信息是否能夠得到及時(shí)更新。論文系統(tǒng)

2、地介紹了搜索引擎中網(wǎng)頁(yè)采集器的工作原理。Robot主要由HTTP下載模塊、爬行策略控制器和URL解析器三個(gè)部分組成。在Robot系統(tǒng)實(shí)現(xiàn)中采用了非遞歸的構(gòu)造方式，給出了隊(duì)列狀態(tài)轉(zhuǎn)換關(guān)系、Robot的典型流程圖和詳細(xì)的算法思想，運(yùn)用了數(shù)據(jù)庫(kù)和多線(xiàn)程編程技術(shù)。 Robot軟件的采集策略是指當(dāng)Robot搜索到一個(gè)文檔后，下一步應(yīng)該轉(zhuǎn)移到哪一個(gè)文檔的方法問(wèn)題，它決定著Robot軟件的采集性能。論文討論了IP地址采集策略、深度優(yōu)先采集策略

3、、廣度優(yōu)先采集策略、深度-廣度結(jié)合采集策略四種基于有向圖的遍歷算法并分析了各自的優(yōu)缺點(diǎn)。Web上的超鏈結(jié)構(gòu)是一個(gè)非常豐富和重要的資源，它獨(dú)立于網(wǎng)頁(yè)的語(yǔ)言和內(nèi)容。論文研究了基于超鏈分析的算法中的BackLink算法、HITS算法和PageRank算法的原理、實(shí)現(xiàn)和存在的問(wèn)題，并提出了一種對(duì)PageRank的改進(jìn)算法?；诔湻治龅乃惴軌蛴行У靥岣逺obot的采集性能，減少獲取網(wǎng)頁(yè)的重復(fù)性，并對(duì)垃圾網(wǎng)頁(yè)有較好的過(guò)濾性。對(duì)分別采用BackL