基于意見挖掘技術(shù)的網(wǎng)購評論傾向性分析的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)上購物越來越盛行,這極大改變了人們的購物方式。而人們對商品及購物過程的感受,也從口口相傳發(fā)展為以網(wǎng)購評論的方式來傳播。網(wǎng)購評論,不論對于普通購買者還是產(chǎn)品生產(chǎn)者都極為重要。本文力求通過從網(wǎng)購評論中分析、提取人們對商品的情感傾向,進(jìn)而幫助消費(fèi)者選擇適合的商品,也幫助生產(chǎn)者有針對性地提高產(chǎn)品質(zhì)量。
　　 基于意見挖掘的文本傾向性分析一般是將文檔或句子看作詞、短語或模式的集合,通過識別關(guān)鍵詞、短語或模式,并計(jì)算其

2、傾向性值,再將結(jié)果累加得到待分析文檔或句子的傾向性值。文本傾向性分析一般通過數(shù)據(jù)采集、文本預(yù)處理、傾向性識別與判斷以及結(jié)果展示等四個步驟實(shí)現(xiàn)。
　　 本文深入地研究了現(xiàn)有的文本傾向性分析方法,從京東商城上抓取網(wǎng)購評論數(shù)據(jù),通過對數(shù)據(jù)的分析和統(tǒng)計(jì),總結(jié)了網(wǎng)購評論數(shù)據(jù)的特點(diǎn),進(jìn)而提出基于詞性模式的抽取和合并算法(POSEM算法),應(yīng)用該算法抽取出訓(xùn)練數(shù)據(jù)集中的有效詞性模式,再根據(jù)詞性模式的特點(diǎn),設(shè)計(jì)了模式匹配規(guī)則,最后,運(yùn)用這些規(guī)則

3、,從測試集中抽取出中心詞和評價詞,并實(shí)現(xiàn)了評論語句的傾向性判別。實(shí)驗(yàn)結(jié)果表明,本文提出的方法取得了較高的精確率和召回率。
　　 本文的主要工作如下：
　　 (1)本文結(jié)合現(xiàn)有的文本傾向性分析理論,對獲得的網(wǎng)購評論數(shù)據(jù)進(jìn)行了深入地分析和統(tǒng)計(jì),總結(jié)了網(wǎng)購評論數(shù)據(jù)與傾向性分析相關(guān)的特點(diǎn)：評論句子中,形容詞對傾向性判別的貢獻(xiàn)最大,其在主觀句中的數(shù)量與總數(shù)的比例最大,達(dá)到86.87％；名詞、副詞的貢獻(xiàn)次之,比例分別達(dá)到71.64%

4、和70.79%；其他詞性,如動詞、介詞,對傾向性的分析也有重要的作用。
　　 (2)基于對網(wǎng)購評論數(shù)據(jù)的分析,本文設(shè)計(jì)并實(shí)現(xiàn)了基于詞性模式的抽取與合并算法(POSEM算法)。該算法使用“POS\T\O”表示詞性模式信息,并對詞性模式的長度、在數(shù)據(jù)集在出現(xiàn)的頻率和出現(xiàn)在主觀句中的概率,分別設(shè)計(jì)了長度閾值、頻度閾值和上下限概率閾值。其中,滿足下限概率閾值的模式用于否定評論句子的傾向性。抽取算法從預(yù)處理后的訓(xùn)練文本數(shù)據(jù)中,抽取出滿足全

5、部閾值的詞性模式。對于僅符合長度閾值和上下限概率閾值的模式,在保留模式中的中心詞和評價詞信息的前提下,合并算法嘗試將其進(jìn)行合并,以獲得能夠滿足全部閾值要求的模糊模式。這樣的設(shè)計(jì)可以在一定程度上提高傾向性分析的召回率。
　　 (3)基于對POSEM算法抽取到的詞性模式的分析,本文設(shè)計(jì)了模式匹配規(guī)則,并從測試文本數(shù)據(jù)中識別出中心詞、評價詞,再利用以高精確率抽取得到的中心詞和評價詞來處理剩余的未處理文本,最后根據(jù)總結(jié)出的傾向性判別規(guī)則

6、得到評論句子的傾向性。通過對實(shí)驗(yàn)結(jié)果的分析,本文提出的方法具有較高的精確率和召回率。
　　 (4)本文設(shè)計(jì)實(shí)現(xiàn)了一個通用的文本傾向性分析框架。該框架可以靈活地替換組件,以滿足不同的實(shí)驗(yàn)需要。在預(yù)處理模塊,系統(tǒng)為詞性定義了統(tǒng)一的格式,當(dāng)替換不同的分詞工具時,只需要將其自定義的詞性格式簡單地轉(zhuǎn)換為系統(tǒng)的格式即可。在文本分析模塊,系統(tǒng)可以方便地替換訓(xùn)練、測試及應(yīng)用組件?；谏鲜龅目蚣?整合開源工具,本文設(shè)計(jì)實(shí)現(xiàn)了一個文本分析的原型實(shí)驗(yàn)