電商金融大數(shù)據(jù)價值提取與空間關(guān)聯(lián)挖掘應(yīng)用研究.pdf

1、隨著搜索引擎、云計算、人工智能這些新興技術(shù)的成熟和普及，人類在日常中產(chǎn)生的數(shù)據(jù)量出現(xiàn)了前所未有的爆發(fā)式增長，催生了“大數(shù)據(jù)”時代的到來。在這種背景下，互聯(lián)網(wǎng)與傳統(tǒng)金融業(yè)的“碰撞”使得互聯(lián)網(wǎng)金融應(yīng)運而生?；ヂ?lián)網(wǎng)金融的誕生滿足了中小微企業(yè)和大眾金融消費者的需求，彌補了傳統(tǒng)金融機構(gòu)的不足，為普惠金融的發(fā)展提供新的思路。其中，以電子商務(wù)平臺為核心的電商金融在所有互聯(lián)網(wǎng)金融模式中影響最大，引起了整個行業(yè)和社會的高度關(guān)注。
　　電商金融行業(yè)本

2、身就是一個基于數(shù)據(jù)的產(chǎn)業(yè)，行業(yè)內(nèi)擁有著大量的多源異構(gòu)數(shù)據(jù)，一方面是自身內(nèi)部電商平臺的海量歷史交易數(shù)據(jù)；另一方面是互聯(lián)網(wǎng)和社交媒體上的外部數(shù)據(jù)。因此，如何具備從電商金融大數(shù)據(jù)中提取和挖掘所蘊含數(shù)據(jù)價值的能力將決定未來整個電商金融行業(yè)的競爭力。
　　本文針對上述問題，在分析電商金融大數(shù)據(jù)特征及價值、國內(nèi)外基于空間關(guān)聯(lián)規(guī)則的挖掘方法以及大數(shù)據(jù)挖掘研究現(xiàn)狀的基礎(chǔ)上，采用分布式搜索引擎技術(shù)，定制網(wǎng)絡(luò)爬蟲從電商金融行業(yè)的多源異構(gòu)數(shù)據(jù)中獲取所需

3、要的銀行卡和淘寶店鋪數(shù)據(jù)，設(shè)計相應(yīng)的 Spark并行算法對數(shù)據(jù)預(yù)處理，建立倒排表和二級索引文件，為后面的大數(shù)據(jù)分析平臺提供數(shù)據(jù)源。確定數(shù)據(jù)來源后，運用MECE分析法并結(jié)合行業(yè)內(nèi)多位金融業(yè)務(wù)專家評分得到企業(yè)信用風(fēng)險評價候選指標(biāo)集及量化方法，分析指標(biāo)相關(guān)性和風(fēng)險定級。接著，利用大數(shù)據(jù)機器學(xué)習(xí)庫中的隨機森林算法對候選指標(biāo)集特征選擇，設(shè)計基于 Hash結(jié)構(gòu)的多級空間關(guān)聯(lián)規(guī)則算法來挖掘企業(yè)風(fēng)險信息，構(gòu)建出信用風(fēng)險評估與智能預(yù)警模型。最后，將機器學(xué)

4、習(xí)、挖掘算法庫、信用風(fēng)險評估與智能預(yù)警模型、大數(shù)據(jù)存儲與分布式計算能力進行封裝，搭建基于Spark on YARN的電商金融大數(shù)據(jù)分析平臺，對所研究模型的準(zhǔn)確度和平臺實用性進行驗證。
　　以淘寶平臺某旗艦店一年的日常經(jīng)營數(shù)據(jù)、銀行卡資金往來數(shù)據(jù)和管理層群體數(shù)據(jù)作為數(shù)據(jù)源，利用電商金融大數(shù)據(jù)分析平臺對店鋪進行經(jīng)營行為分析，提供信用風(fēng)險評估與審批授信和貸后風(fēng)險預(yù)警管理服務(wù)，證明構(gòu)建的信用風(fēng)險評估與智能預(yù)警模型能夠達到預(yù)期要求，具有較高