一個(gè)電商網(wǎng)站反爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、現(xiàn)有一個(gè)電商網(wǎng)站，網(wǎng)站提供線(xiàn)上交易服務(wù)，同時(shí)展示了真實(shí)的最新交易數(shù)據(jù)和一些用戶(hù)的需求，這些真實(shí)有價(jià)值的數(shù)據(jù)吸引了不少的爬蟲(chóng)“光顧”。有些爬蟲(chóng)給網(wǎng)站的性能和信息安全帶來(lái)了不小的影響。為了降低爬蟲(chóng)給網(wǎng)站帶來(lái)的性能影響，減少網(wǎng)站信息泄露，確保有良好的SEO，同時(shí)給用戶(hù)以良好的用戶(hù)體驗(yàn)，需要識(shí)別并拒絕爬蟲(chóng)的訪問(wèn)，常用的數(shù)段有：人工識(shí)別爬蟲(chóng)，通過(guò)User-Agent信息識(shí)別爬蟲(chóng)，查看系統(tǒng)統(tǒng)計(jì)和日志識(shí)別爬蟲(chóng)等，這些手段容易實(shí)現(xiàn)，但不夠自動(dòng)化和智能，

2、同時(shí)對(duì)爬蟲(chóng)的相關(guān)信息缺乏管理，因此需要為電商網(wǎng)站開(kāi)發(fā)一個(gè)反爬蟲(chóng)系統(tǒng)實(shí)時(shí)攔截爬蟲(chóng)，并且對(duì)相關(guān)數(shù)據(jù)進(jìn)行監(jiān)控和管理。
　　反爬蟲(chóng)系統(tǒng)是在充分理解HTTP協(xié)議，Web工作流程基礎(chǔ)上，結(jié)合爬蟲(chóng)特點(diǎn)以及反爬蟲(chóng)工作原理進(jìn)行設(shè)計(jì)，利用Rails開(kāi)發(fā)框架框架和Redis高速內(nèi)存數(shù)據(jù)庫(kù)加以實(shí)現(xiàn)，并創(chuàng)新的引入Echarts圖表進(jìn)行展示。實(shí)現(xiàn)思路是：首先攔截并識(shí)別每次訪問(wèn)Request請(qǐng)求中的真實(shí)IP，User-Agent，Referer等信息，解析并存

3、儲(chǔ)到數(shù)據(jù)庫(kù)，考慮訪問(wèn)的高并發(fā)讀寫(xiě)，采用Redis內(nèi)存數(shù)據(jù)庫(kù)。然后利用Redis時(shí)間片的特性給每個(gè)IP增設(shè)多級(jí)訪問(wèn)頻率閾值，同時(shí)增設(shè)驗(yàn)證碼驗(yàn)證，若是超過(guò)設(shè)定閾值并且驗(yàn)證碼錯(cuò)誤，則判別為爬蟲(chóng)，拒絕訪問(wèn)。同時(shí)，為了防止有“漏網(wǎng)之魚(yú)”，反爬蟲(chóng)系統(tǒng)引入了數(shù)據(jù)可視化前端框架，進(jìn)一步進(jìn)行圖表展示，通過(guò)清晰的圖表數(shù)據(jù)的走勢(shì)分布，輕松判定爬蟲(chóng)加以屏蔽，從而使躲過(guò)系統(tǒng)閾值判定的爬蟲(chóng)“原形畢露”。
　　在測(cè)試環(huán)節(jié)，分別通過(guò)了功能和性能兩方面的測(cè)試要求。