基于hadoop的網(wǎng)絡(luò)爬蟲技術(shù)研究.pdf

1、分類號——UDC學(xué)密級學(xué)校代碼lQ壘窆Z武洚理歹大穿位論文研究生姓名夔亙塑姓名藍壁芏職稱耋監(jiān)學(xué)位監(jiān)指導(dǎo)教師單位名稱鹽簋墊銎鱟魚墊盔芏墮?quán)]編笪QQ魚申請學(xué)位級別論文提交日期亟學(xué)科專業(yè)名稱鹽笠墊座周墊盔一2013—04論文答辯日期2013年5月2013—05日期2出=o＆人盔：!：鹼么乏鄉(xiāng)毖武漢理工大學(xué)碩士學(xué)位論文摘要目前，互聯(lián)網(wǎng)正處于飛猛的發(fā)展過程中，互聯(lián)網(wǎng)所容納信息的數(shù)量級很驚人，面對如此龐大數(shù)量的信息，如何能從中獲得自己所想要的信息是

2、我們目前所面臨的一個巨大的挑戰(zhàn)。搜索引擎是最主要的Web檢索工具，在搜索引擎的抓取系統(tǒng)中，網(wǎng)絡(luò)爬蟲是最重要的組成部分，它的本質(zhì)是一組計算機程序，能夠自動且有條不絮的從互聯(lián)網(wǎng)上進行搜索和抓取網(wǎng)頁，并且無須人工的干預(yù)。然而面對如此巨大、紛繁復(fù)雜的信息及用戶對檢索結(jié)果和時間的要求，提高信息檢索效率已成為一個急需解決的問題，然而僅依靠單個計算機的能力很難完成如此艱巨的任務(wù)，因此需通過多臺單機采用分布式的方式協(xié)同工作完成。目前，大部分互聯(lián)網(wǎng)公司都

3、是在提供的開源Hadoop項目的基礎(chǔ)上進行開發(fā)研究，類似Google比較著名的rr公司都建立了比較好的云計算平臺。網(wǎng)絡(luò)是數(shù)量龐大的超鏈接文本頁面的集合，各種錯綜復(fù)雜的頁面之間通過超鏈接形成了有組織的結(jié)構(gòu)。通過對鏈接結(jié)構(gòu)進行分析，可以從中獲得豐富的資源和信息，要想提高網(wǎng)絡(luò)爬蟲的性能，就要加強對超鏈接分析技術(shù)的研究和探討，因此對超鏈接的分析是非常有必要的。目前，在類似百度這樣大型的搜索引擎中，在網(wǎng)絡(luò)爬蟲部分都有針對自己特性的超鏈接分析算法，

4、其中最適用和普遍的是PageRank和HITS算法。然而HITS算法它是一種單純對超鏈接分析的算法，完全忽略了文本內(nèi)容的因素，對于不同的超鏈接沒有進行區(qū)別，在本文中主要對比較經(jīng)典的優(yōu)化HITS算法進行了介紹。本文中對HITS算法的基本原理及算法的實現(xiàn)步驟進行了深入的研究，發(fā)現(xiàn)該算法存在一定的不足。在HITS算法中，在基集進行擴展時，對于來自不同站點的網(wǎng)頁鏈接給予了不一樣的影響權(quán)重值，這樣就會選取大量無效的鏈接，這種情況直接導(dǎo)致比較權(quán)威的