電商金融大數(shù)據(jù)價(jià)值提取與空間關(guān)聯(lián)挖掘應(yīng)用研究.pdf

1、隨著搜索引擎、云計(jì)算、人工智能這些新興技術(shù)的成熟和普及，人類(lèi)在日常中產(chǎn)生的數(shù)據(jù)量出現(xiàn)了前所未有的爆發(fā)式增長(zhǎng)，催生了“大數(shù)據(jù)”時(shí)代的到來(lái)。在這種背景下，互聯(lián)網(wǎng)與傳統(tǒng)金融業(yè)的“碰撞”使得互聯(lián)網(wǎng)金融應(yīng)運(yùn)而生。互聯(lián)網(wǎng)金融的誕生滿足了中小微企業(yè)和大眾金融消費(fèi)者的需求，彌補(bǔ)了傳統(tǒng)金融機(jī)構(gòu)的不足，為普惠金融的發(fā)展提供新的思路。其中，以電子商務(wù)平臺(tái)為核心的電商金融在所有互聯(lián)網(wǎng)金融模式中影響最大，引起了整個(gè)行業(yè)和社會(huì)的高度關(guān)注。
　　電商金融行業(yè)本

2、身就是一個(gè)基于數(shù)據(jù)的產(chǎn)業(yè)，行業(yè)內(nèi)擁有著大量的多源異構(gòu)數(shù)據(jù)，一方面是自身內(nèi)部電商平臺(tái)的海量歷史交易數(shù)據(jù)；另一方面是互聯(lián)網(wǎng)和社交媒體上的外部數(shù)據(jù)。因此，如何具備從電商金融大數(shù)據(jù)中提取和挖掘所蘊(yùn)含數(shù)據(jù)價(jià)值的能力將決定未來(lái)整個(gè)電商金融行業(yè)的競(jìng)爭(zhēng)力。
　　本文針對(duì)上述問(wèn)題，在分析電商金融大數(shù)據(jù)特征及價(jià)值、國(guó)內(nèi)外基于空間關(guān)聯(lián)規(guī)則的挖掘方法以及大數(shù)據(jù)挖掘研究現(xiàn)狀的基礎(chǔ)上，采用分布式搜索引擎技術(shù)，定制網(wǎng)絡(luò)爬蟲(chóng)從電商金融行業(yè)的多源異構(gòu)數(shù)據(jù)中獲取所需

3、要的銀行卡和淘寶店鋪數(shù)據(jù)，設(shè)計(jì)相應(yīng)的 Spark并行算法對(duì)數(shù)據(jù)預(yù)處理，建立倒排表和二級(jí)索引文件，為后面的大數(shù)據(jù)分析平臺(tái)提供數(shù)據(jù)源。確定數(shù)據(jù)來(lái)源后，運(yùn)用MECE分析法并結(jié)合行業(yè)內(nèi)多位金融業(yè)務(wù)專(zhuān)家評(píng)分得到企業(yè)信用風(fēng)險(xiǎn)評(píng)價(jià)候選指標(biāo)集及量化方法，分析指標(biāo)相關(guān)性和風(fēng)險(xiǎn)定級(jí)。接著，利用大數(shù)據(jù)機(jī)器學(xué)習(xí)庫(kù)中的隨機(jī)森林算法對(duì)候選指標(biāo)集特征選擇，設(shè)計(jì)基于 Hash結(jié)構(gòu)的多級(jí)空間關(guān)聯(lián)規(guī)則算法來(lái)挖掘企業(yè)風(fēng)險(xiǎn)信息，構(gòu)建出信用風(fēng)險(xiǎn)評(píng)估與智能預(yù)警模型。最后，將機(jī)器學(xué)

4、習(xí)、挖掘算法庫(kù)、信用風(fēng)險(xiǎn)評(píng)估與智能預(yù)警模型、大數(shù)據(jù)存儲(chǔ)與分布式計(jì)算能力進(jìn)行封裝，搭建基于Spark on YARN的電商金融大數(shù)據(jù)分析平臺(tái)，對(duì)所研究模型的準(zhǔn)確度和平臺(tái)實(shí)用性進(jìn)行驗(yàn)證。
　　以淘寶平臺(tái)某旗艦店一年的日常經(jīng)營(yíng)數(shù)據(jù)、銀行卡資金往來(lái)數(shù)據(jù)和管理層群體數(shù)據(jù)作為數(shù)據(jù)源，利用電商金融大數(shù)據(jù)分析平臺(tái)對(duì)店鋪進(jìn)行經(jīng)營(yíng)行為分析，提供信用風(fēng)險(xiǎn)評(píng)估與審批授信和貸后風(fēng)險(xiǎn)預(yù)警管理服務(wù)，證明構(gòu)建的信用風(fēng)險(xiǎn)評(píng)估與智能預(yù)警模型能夠達(dá)到預(yù)期要求，具有較高