基于陷阱技術(shù)的web robot檢測方法研究.pdf

1、Web robot(網(wǎng)絡(luò)爬蟲)作為一種網(wǎng)絡(luò)資源獲取程序，在廣泛應(yīng)用于信息搜索的同時(shí)，也帶來了一些負(fù)面影響。Robot對網(wǎng)站資源的集中獲取導(dǎo)致網(wǎng)絡(luò)流量增加，使網(wǎng)站響應(yīng)性能下降；Robot對網(wǎng)站的訪問嚴(yán)重影響基于日志的各種數(shù)據(jù)挖掘工作的結(jié)果；惡意robot會(huì)造成隱私數(shù)據(jù)泄漏、資源濫用、點(diǎn)擊欺騙等問題。因此出現(xiàn)大量robot檢測技術(shù)對robot進(jìn)行檢測，并在必要的時(shí)候屏蔽其對網(wǎng)站的訪問。
　　本文介紹了現(xiàn)有的robot檢測技術(shù)，并對他們

2、所采用的方法、技術(shù)和優(yōu)缺點(diǎn)做了詳細(xì)的論述。介紹了陷阱技術(shù)在robot檢測中的應(yīng)用現(xiàn)狀，針對陷阱檢測中陷阱設(shè)置策略簡單、缺乏相應(yīng)理論和模型支持等問題，提出了一種新的robot檢測模型--基于陷阱技術(shù)的robot檢測模型。
　　基于陷阱技術(shù)的檢測模型，采用隱藏鏈接來捕獲robot，可移植性強(qiáng)，可方便的布設(shè)到需要進(jìn)行robot檢測的網(wǎng)站中。陷阱檢測模型和其它檢測技術(shù)一樣不但具有常規(guī)robot的檢測能力，而且由于陷阱的特殊森林結(jié)構(gòu)，使其具

3、有分布式robot的檢測和區(qū)分能力，與其他檢測技術(shù)相比，體現(xiàn)了陷阱技術(shù)的優(yōu)越性。
　　文中結(jié)合robot訪問網(wǎng)站的覆蓋率和陷阱鏈接的布置率兩個(gè)因素，對模型的檢測能力做了詳細(xì)的分析，指出了陷阱檢測模型的優(yōu)缺點(diǎn)，詳細(xì)探討了陷阱的布置策略對robot檢測效果的影響。
　　最后，設(shè)計(jì)了具體實(shí)驗(yàn)，結(jié)合陷阱檢測模型特點(diǎn)，對模型的各個(gè)功能模塊做了具體實(shí)現(xiàn)，開發(fā)了一個(gè)robot檢測分析系統(tǒng)，并發(fā)布到互聯(lián)網(wǎng)上。通過對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，驗(yàn)證了陷