網(wǎng)絡(luò)安全掃描器中網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本文的研究目的在于設(shè)計(jì)和實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng)，該模塊是Web應(yīng)用程序漏洞評(píng)估工具的重要組成部分，設(shè)計(jì)和開(kāi)發(fā)Web應(yīng)用程序漏洞評(píng)估工具目的在于掃描網(wǎng)站、識(shí)別安全漏洞并且給出掃描評(píng)估報(bào)告。
　　 網(wǎng)絡(luò)爬蟲(chóng)同樣被稱為搜尋器或機(jī)器人，是一種自動(dòng)從網(wǎng)站上下載WEB頁(yè)面的程序。設(shè)計(jì)網(wǎng)絡(luò)爬蟲(chóng)的主要目的在于恢復(fù)WEB頁(yè)面。爬蟲(chóng)的主要目標(biāo)在于下載一系列重要的頁(yè)面，刷新已下載的頁(yè)面，發(fā)現(xiàn)新的頁(yè)面和保證頁(yè)面擁有一個(gè)合適的展現(xiàn)。
　　 網(wǎng)絡(luò)爬蟲(chóng)同樣被用

2、在信息提取上，例如提取商業(yè)情報(bào)，一個(gè)公司可以利用網(wǎng)絡(luò)爬蟲(chóng)從WEB網(wǎng)站上提取關(guān)于他們競(jìng)爭(zhēng)對(duì)手的信息。網(wǎng)絡(luò)爬蟲(chóng)的其他應(yīng)用在于監(jiān)測(cè)WEB頁(yè)面和搜索引擎。爬蟲(chóng)使得通過(guò)WEB頁(yè)面中的超鏈接自動(dòng)提取網(wǎng)頁(yè)中的信息來(lái)實(shí)現(xiàn)上述功應(yīng)用變得可能。一般來(lái)說(shuō)，爬蟲(chóng)開(kāi)始都是從一個(gè)初始的頁(yè)面中提取超鏈接，然后從這些超鏈接中得到更多的頁(yè)面信息，直到頁(yè)面數(shù)量達(dá)到一定的規(guī)?；蛘咭呀?jīng)實(shí)現(xiàn)某些較高的目標(biāo)。
　　 在這個(gè)簡(jiǎn)單的敘述下面有更多復(fù)雜的研究點(diǎn)，例如可以利用的資