支付寶商戶(hù)風(fēng)險(xiǎn)監(jiān)控系統(tǒng)爬蟲(chóng)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著電子商務(wù)的高速發(fā)展,在線交易量日益增大,光靠網(wǎng)銀自身的系統(tǒng)已經(jīng)支撐不了客戶(hù)支付的要求,于是一系列第三方支付公司如雨后春筍拔地而起。第三方支付平臺(tái)匯總了各大銀行的支付接口,同時(shí)還豐富了很多應(yīng)用,滿(mǎn)足了客戶(hù)在線支付的需求。第三方支付平臺(tái)允許商戶(hù)網(wǎng)站接入其提供的支付接口,為客戶(hù)提供在線支付服務(wù)。
　　本文分析了支付寶在線支付平臺(tái)的具體情況,可以得到目前支付寶平臺(tái)主要提供資金的在線流動(dòng)服務(wù),對(duì)具體的交易內(nèi)容是無(wú)法知曉的,使得很多電子商

2、務(wù)網(wǎng)站在線進(jìn)行一些非法交易,嚴(yán)重破壞了網(wǎng)絡(luò)支付環(huán)境。
　　針對(duì)當(dāng)前接入支付寶平臺(tái)支付接口的電子商務(wù)網(wǎng)站規(guī)模和業(yè)務(wù)領(lǐng)域進(jìn)行了分析,找出了一套合理地商戶(hù)風(fēng)險(xiǎn)監(jiān)控方案,建立商戶(hù)風(fēng)險(xiǎn)監(jiān)控系統(tǒng),系統(tǒng)還提供管理員后臺(tái)操作界面,允許人工介入對(duì)系統(tǒng)發(fā)現(xiàn)的嫌疑商戶(hù)進(jìn)行驗(yàn)證,確保最終整改的商戶(hù)確實(shí)為非法商戶(hù)。
　　商戶(hù)風(fēng)險(xiǎn)監(jiān)控系統(tǒng)分為爬蟲(chóng)子系統(tǒng)、審核任務(wù)子系統(tǒng)。本文對(duì)爬蟲(chóng)子系統(tǒng)的基礎(chǔ)數(shù)據(jù)維護(hù)、基礎(chǔ)數(shù)據(jù)加載、分布式環(huán)境負(fù)載均衡、網(wǎng)頁(yè)地址分發(fā)和去重

3、以及文本分析結(jié)果處理功能做了詳細(xì)的需求分析以及設(shè)計(jì)實(shí)現(xiàn)。根據(jù)對(duì)當(dāng)前商戶(hù)數(shù)據(jù)量的評(píng)估,設(shè)計(jì)了合理的系統(tǒng)物理架構(gòu)。維護(hù)的基礎(chǔ)數(shù)據(jù)包含詞匯、商戶(hù)篩選策略以及應(yīng)用場(chǎng)景,這些數(shù)據(jù)加載到爬蟲(chóng)系統(tǒng)中用來(lái)進(jìn)行高風(fēng)險(xiǎn)商戶(hù)網(wǎng)站的篩選和商戶(hù)網(wǎng)站內(nèi)容的分析。采用基于Hash的任務(wù)調(diào)度機(jī)制實(shí)現(xiàn)了分布式爬蟲(chóng)的負(fù)載均衡,利用BloomFilter數(shù)據(jù)結(jié)構(gòu),實(shí)現(xiàn)了高效的網(wǎng)頁(yè)地址去重,由詞匯分析之后的嫌疑違規(guī)文本會(huì)被封裝成人工核查任務(wù)分發(fā)給審核任務(wù)子系統(tǒng)。
　　該