Web漏洞掃描系統(tǒng)中的智能爬蟲技術(shù)研究.pdf

1、針對(duì)Web安全問題，目前最常用的技術(shù)是采用 Web漏洞掃描系統(tǒng)進(jìn)行檢測(cè)。網(wǎng)絡(luò)爬蟲是Web漏洞掃描器重要組成部分，負(fù)責(zé)抓取站點(diǎn)的頁(yè)面信息，為Web漏洞掃描器提供數(shù)據(jù)源及掃描入口。網(wǎng)絡(luò)爬蟲是一個(gè)智能抓取網(wǎng)頁(yè)的程序，論文主要研究網(wǎng)絡(luò)爬蟲技術(shù)。
　　 所做的主要工作包括以下幾部分：
　　 1)介紹了網(wǎng)絡(luò)爬蟲及其采用的爬行策略，論述了通用爬蟲、聚集爬蟲、深層爬蟲三種典型網(wǎng)絡(luò)爬蟲技術(shù)，詳述了聚集爬蟲使用的幾個(gè)重要網(wǎng)頁(yè)分析算法，分析了

2、已有的基于爬蟲技術(shù)的Web漏洞掃描系統(tǒng)。
　　 2)通過對(duì)掃描對(duì)象特點(diǎn)的分析，提出了一種基于屬性標(biāo)簽的Web數(shù)據(jù)挖掘的算法。即利用網(wǎng)頁(yè)的所有標(biāo)簽，構(gòu)造帶有屬性標(biāo)簽的DOM樹；通過屬性標(biāo)簽對(duì)子樹做比較，發(fā)現(xiàn)標(biāo)簽序列的重復(fù)模式；制定了三個(gè)規(guī)則排出干擾模式，找到數(shù)據(jù)區(qū)域，用向量記錄包含有用數(shù)據(jù)的重復(fù)模式；通過向量提取出數(shù)據(jù)記錄。驗(yàn)證該方法有效性的實(shí)驗(yàn)對(duì)象是卓越網(wǎng)各類目，從實(shí)驗(yàn)的數(shù)據(jù)可以發(fā)現(xiàn)，該方法可以卓越網(wǎng)頁(yè)中提取出大約90％的數(shù)據(jù)，

3、正確率與覆蓋率都很高。
　　 3)基于屬性標(biāo)簽的Web數(shù)據(jù)挖掘的方法可以挖掘很多網(wǎng)頁(yè)的重復(fù)數(shù)據(jù)，但對(duì)重復(fù)模式只具備相似性不具備一致性的網(wǎng)頁(yè)不起作用。針對(duì)這個(gè)問題，提出了一種基于編輯距離的Web數(shù)據(jù)挖掘算法。把樹編輯距離轉(zhuǎn)化為字符串編輯距離的計(jì)算，利用字符串編輯距離評(píng)價(jià)樹的相似度，進(jìn)而找到網(wǎng)頁(yè)中的重復(fù)模式，提取數(shù)據(jù)。通過針對(duì)不同重復(fù)模式特征的網(wǎng)頁(yè)的實(shí)驗(yàn)說明，該算法不僅能挖掘具有特征一的網(wǎng)頁(yè)的數(shù)據(jù)，也能挖掘具有特征二的網(wǎng)頁(yè)的數(shù)據(jù)，能