網(wǎng)頁防抓取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、某公司是中國(guó)領(lǐng)先的在線旅游平臺(tái)，機(jī)票搜索交易平臺(tái)是其中的重要基礎(chǔ)平臺(tái)之一，搜索范圍覆蓋全球范圍內(nèi)約18余萬條航線，可實(shí)時(shí)搜索4000多家旅游代理商網(wǎng)站，同時(shí)其2014年度的機(jī)票交易也突破了8000萬張。然而在業(yè)務(wù)量持續(xù)增長(zhǎng)的同時(shí)，機(jī)票搜索交易平臺(tái)及其相關(guān)業(yè)務(wù)系統(tǒng)都面臨著各類外部來源的信息抓取所帶來的壓力，大量的抓取請(qǐng)求帶來了一系列嚴(yán)峻的問題：○1數(shù)據(jù)安全問題，面對(duì)非正常的抓取訪問的，關(guān)鍵數(shù)據(jù)存在被競(jìng)爭(zhēng)對(duì)手獲取的風(fēng)險(xiǎn)；○2系統(tǒng)性能問題，大

2、量的抓取請(qǐng)求造成服務(wù)器資源的耗盡，嚴(yán)重影響用戶的搜索和交易體驗(yàn)；○3不同的業(yè)務(wù)系統(tǒng)重復(fù)對(duì)防抓取進(jìn)行實(shí)現(xiàn)，且實(shí)現(xiàn)質(zhì)量良莠不齊，形成了資源的浪費(fèi)。
　　論文通過對(duì)網(wǎng)絡(luò)爬蟲和防抓取相關(guān)技術(shù)的深入研究，設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)頁防抓取系統(tǒng)（Web Anti-Crawling System，ACS）。ACS系統(tǒng)為公司的機(jī)票搜索交易平臺(tái)及其下面的多個(gè)業(yè)務(wù)項(xiàng)目提供了統(tǒng)一的、高質(zhì)量的防抓取服務(wù)，實(shí)現(xiàn)了HTTP協(xié)議頭、JS加密串、IP黑名單、訪問頻率控制等防

3、抓取策略；通過對(duì)機(jī)票搜索交易平臺(tái)業(yè)務(wù)的深入了解，實(shí)現(xiàn)了業(yè)務(wù)邏輯相關(guān)的行為模式防抓取策略，進(jìn)一步提高了抓取所需的成本；另外，ACS系統(tǒng)對(duì)策略接口、防抓取服務(wù)接口的設(shè)計(jì)，使得API接口與實(shí)現(xiàn)分離，不僅具有良好的拓展性，同時(shí)也降低與業(yè)務(wù)系統(tǒng)之間的耦合性，便于防抓取服務(wù)的接入。Anti-Crawling System為上述由抓取帶來的問題提供了一個(gè)解決方案。
　　整個(gè)防抓取系統(tǒng)經(jīng)過一定的功能測(cè)試和性能測(cè)試，確定論文中所述的五個(gè)防抓取策略已