基于模板檢測的違法網(wǎng)站識別.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，傳統(tǒng)的違法犯罪活動(dòng)不斷借助新技術(shù)改頭換面，死灰復(fù)燃，對我國經(jīng)濟(jì)發(fā)展以及社會(huì)穩(wěn)定構(gòu)成極大威脅。公安部投入了大量人力來打擊違法網(wǎng)絡(luò)活動(dòng)，但主要依靠民眾舉報(bào)和人工篩選，耗時(shí)耗力。目前主流的違法網(wǎng)站自動(dòng)識別技術(shù)有黑名單、靜態(tài)分析和動(dòng)態(tài)檢測。黑名單可提供快速便捷的可疑網(wǎng)址查詢服務(wù)，但維護(hù)成本高；靜態(tài)分析理論完備，技術(shù)成熟，但數(shù)據(jù)源限于靜態(tài)網(wǎng)頁數(shù)據(jù)，實(shí)時(shí)性不高；動(dòng)態(tài)檢測主要針對網(wǎng)站掛馬，對于常見的詐騙、賭博類網(wǎng)站無效。所以

2、目前急需實(shí)用的違法網(wǎng)站自動(dòng)識別技術(shù)，能快速、高精度地從海量網(wǎng)站中識別出常見違法網(wǎng)站，從而達(dá)到打擊網(wǎng)絡(luò)違法犯罪的目的。
　　針對上述現(xiàn)狀，本文提出并實(shí)現(xiàn)了基于模板檢測的違法網(wǎng)站自動(dòng)識別方法和技術(shù)。該方法從檢測網(wǎng)站模板的角度出發(fā)，結(jié)合HTTP POST特征提取、相似度模型、網(wǎng)站聚類、模板檢測等多種技術(shù)，從海量網(wǎng)站中抽取違法網(wǎng)站模板，快速準(zhǔn)確地識別違法網(wǎng)站，同時(shí)滿足性能要求。
　　首先，本文分析了常見違法網(wǎng)站的特征，初步提出了三種

3、識別方案。在綜合考慮研究目標(biāo)和評價(jià)指標(biāo)后，選用基于模板檢測來識別違法網(wǎng)站。接著重點(diǎn)研究該方案的4個(gè)關(guān)鍵技術(shù)：1）模板檢測特征的確定。以網(wǎng)站POST行為作為模板識別的切入點(diǎn)，深入分析POST中所包含的信息，提出POST特征值計(jì)算公式。2）網(wǎng)站相似度模型。為了提取違法網(wǎng)站模板和識別違法網(wǎng)站，基于網(wǎng)站 POST特征值提出網(wǎng)站相似度模型。該模型為每個(gè)網(wǎng)站構(gòu)造特征值集合，并采用Jaccard計(jì)算兩網(wǎng)站相似度。3）模板抽取。根據(jù)網(wǎng)站間的相似度對網(wǎng)站

4、聚類，從中選出違法網(wǎng)站聚類，借鑒TF-IDF算法，提取違法聚類中的關(guān)鍵POST特征值作為違法網(wǎng)站模板。4）模板檢測。在相似度模型和違法網(wǎng)站模板的基礎(chǔ)上，判斷未知網(wǎng)站是否屬于違法網(wǎng)站。
　　隨后，本文采用Hadoop、Map-Reduce、Hive和多線程等技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了基于模板檢測的違法網(wǎng)站識別系統(tǒng)原型。為了驗(yàn)證所提方案的有效性，以賭博違法網(wǎng)站為例，進(jìn)行了三項(xiàng)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文方案能準(zhǔn)確地識別出違法網(wǎng)站，通過不斷調(diào)整閾值，