基于數(shù)據(jù)挖掘的電子商務(wù)產(chǎn)品質(zhì)量風(fēng)險(xiǎn)評(píng)估技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)和信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)不可阻擋地進(jìn)入了人們的生活，并且改變了人們的生活方式。但由于電子商務(wù)的虛擬性、跨地域性，消費(fèi)者所購(gòu)買(mǎi)的產(chǎn)品可能會(huì)存在質(zhì)量風(fēng)險(xiǎn)。針對(duì)該問(wèn)題，本文在前人的研究基礎(chǔ)上，提出了基于電子商務(wù)平臺(tái)的用戶評(píng)論數(shù)據(jù)的風(fēng)險(xiǎn)評(píng)估模型，該模型可以準(zhǔn)確地識(shí)別風(fēng)險(xiǎn)，評(píng)估風(fēng)險(xiǎn)等級(jí)，發(fā)布相應(yīng)的預(yù)警信息，使得監(jiān)管人員對(duì)風(fēng)險(xiǎn)做出快速的應(yīng)對(duì)措施。如何客觀的評(píng)估產(chǎn)品質(zhì)量的風(fēng)險(xiǎn)，使得監(jiān)管機(jī)構(gòu)對(duì)其做出快速的反應(yīng)是本文的研究重點(diǎn)。本文主要研究了

2、以下幾個(gè)方面：
　　本文對(duì)電商產(chǎn)品數(shù)據(jù)通過(guò)R語(yǔ)言的數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行空值和異常值處理以及使用基于Spark并行化ansj的jar包對(duì)數(shù)據(jù)集進(jìn)行中文的文本分詞和去停用詞處理，從而得到預(yù)處理后的訓(xùn)練數(shù)據(jù)。然后在隨機(jī)森林的袋外數(shù)據(jù)的特征屬性中加入噪聲，并將計(jì)算所得到誤差進(jìn)行重要性排序，以此來(lái)進(jìn)行電子商務(wù)產(chǎn)品質(zhì)量風(fēng)險(xiǎn)評(píng)估的特征選擇，并在Spark計(jì)算框架上實(shí)現(xiàn)。
　　在電子商務(wù)產(chǎn)品質(zhì)量的風(fēng)險(xiǎn)評(píng)估中，提出了一種基于Spark并行化

3、的改進(jìn)樸素貝葉斯算法來(lái)建立風(fēng)險(xiǎn)模型。樸素貝葉斯算法是假設(shè)特征之間相互獨(dú)立，然而在實(shí)際中，它們之間是息息相關(guān)的，所以利用MinHash來(lái)計(jì)算特征屬性與決策標(biāo)簽之間關(guān)聯(lián)程度，對(duì)貝葉斯算法中的條件概率進(jìn)行加權(quán)運(yùn)算，并在Spark實(shí)現(xiàn)算法的并行化。
　　本文通過(guò)構(gòu)建基于Spark大規(guī)模集群進(jìn)行了仿真實(shí)驗(yàn)。在UCI數(shù)據(jù)集上，驗(yàn)證了基于Spark并行化的改進(jìn)貝葉斯算法相比于樸素貝葉斯算法及其串行算法在準(zhǔn)確率、召回率以及時(shí)間上有更好的效果。當(dāng)實(shí)