基于爬蟲進(jìn)行域名發(fā)現(xiàn)分析的研究與實現(xiàn).pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，我國網(wǎng)絡(luò)資源占有量逐年提升，截止到2015年底中國頂級域名總數(shù)已經(jīng)達(dá)到3102萬個。隨著互聯(lián)網(wǎng)資源的快速增長，大量的違法違規(guī)網(wǎng)站開始蔓延，如何保證網(wǎng)絡(luò)信息安全，凈化網(wǎng)絡(luò)內(nèi)容對我國乃至全球互聯(lián)網(wǎng)管理者來說是尤為重要的。解決網(wǎng)絡(luò)信息安全的核心方法就是首先要發(fā)現(xiàn)問題網(wǎng)站，然后找到問題網(wǎng)站的接入者，要求其對該網(wǎng)站進(jìn)行關(guān)停整改等處理。目前域名發(fā)現(xiàn)的方式有多種，其中以模擬人工方式進(jìn)行網(wǎng)站訪問，獲取網(wǎng)頁內(nèi)容為基礎(chǔ)的網(wǎng)絡(luò)爬蟲架構(gòu)

2、，成為了維護(hù)互聯(lián)網(wǎng)信息安全較為有效的解決方案之一。
　　本課題對分布式網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行了研究，設(shè)計完成了“域名檢測系統(tǒng)”。系統(tǒng)可根據(jù)配置好的搜索策略對指定網(wǎng)站進(jìn)行深層次抓取，獲取網(wǎng)站域名同時對域名進(jìn)行DNS云解析獲取其接入IP地址，從而實現(xiàn)網(wǎng)站的發(fā)現(xiàn)和定位功能。為各互聯(lián)網(wǎng)服務(wù)提供商進(jìn)行轄區(qū)內(nèi)域名管理提供一個可參考的技術(shù)實現(xiàn)方案。
　　通過對課題的研究與實現(xiàn)，進(jìn)一步證明了網(wǎng)絡(luò)爬蟲技術(shù)具備的快速發(fā)現(xiàn)網(wǎng)站、分析網(wǎng)頁內(nèi)容、定位網(wǎng)站接