Web漏洞掃描系統(tǒng)中的智能爬蟲技術(shù)研究.pdf

1、針對Web安全問題，目前最常用的技術(shù)是采用 Web漏洞掃描系統(tǒng)進行檢測。網(wǎng)絡(luò)爬蟲是Web漏洞掃描器重要組成部分，負責抓取站點的頁面信息，為Web漏洞掃描器提供數(shù)據(jù)源及掃描入口。網(wǎng)絡(luò)爬蟲是一個智能抓取網(wǎng)頁的程序，論文主要研究網(wǎng)絡(luò)爬蟲技術(shù)。
　　 所做的主要工作包括以下幾部分：
　　 1)介紹了網(wǎng)絡(luò)爬蟲及其采用的爬行策略，論述了通用爬蟲、聚集爬蟲、深層爬蟲三種典型網(wǎng)絡(luò)爬蟲技術(shù)，詳述了聚集爬蟲使用的幾個重要網(wǎng)頁分析算法，分析了

2、已有的基于爬蟲技術(shù)的Web漏洞掃描系統(tǒng)。
　　 2)通過對掃描對象特點的分析，提出了一種基于屬性標簽的Web數(shù)據(jù)挖掘的算法。即利用網(wǎng)頁的所有標簽，構(gòu)造帶有屬性標簽的DOM樹；通過屬性標簽對子樹做比較，發(fā)現(xiàn)標簽序列的重復模式；制定了三個規(guī)則排出干擾模式，找到數(shù)據(jù)區(qū)域，用向量記錄包含有用數(shù)據(jù)的重復模式；通過向量提取出數(shù)據(jù)記錄。驗證該方法有效性的實驗對象是卓越網(wǎng)各類目，從實驗的數(shù)據(jù)可以發(fā)現(xiàn)，該方法可以卓越網(wǎng)頁中提取出大約90％的數(shù)據(jù)，

3、正確率與覆蓋率都很高。
　　 3)基于屬性標簽的Web數(shù)據(jù)挖掘的方法可以挖掘很多網(wǎng)頁的重復數(shù)據(jù)，但對重復模式只具備相似性不具備一致性的網(wǎng)頁不起作用。針對這個問題，提出了一種基于編輯距離的Web數(shù)據(jù)挖掘算法。把樹編輯距離轉(zhuǎn)化為字符串編輯距離的計算，利用字符串編輯距離評價樹的相似度，進而找到網(wǎng)頁中的重復模式，提取數(shù)據(jù)。通過針對不同重復模式特征的網(wǎng)頁的實驗說明，該算法不僅能挖掘具有特征一的網(wǎng)頁的數(shù)據(jù)，也能挖掘具有特征二的網(wǎng)頁的數(shù)據(jù)，能