基于PLSA的大數(shù)據(jù)文本情感分析及其應(yīng)用.pdf

1、隨著web_2.0的發(fā)展,越來越多的用戶在互聯(lián)網(wǎng)上發(fā)布內(nèi)容,其中也包括了有關(guān)用戶所關(guān)注產(chǎn)品或服務(wù)的評價(jià)及博客,用戶在這些評論及博客中表述了自己對產(chǎn)品或服務(wù)的看法及觀點(diǎn),分析挖掘這些評論或博客中用戶的情感信息有著潛在的商業(yè)價(jià)值,一方面用戶就可以通過參考這些帶有主觀情感色彩的評論內(nèi)容,了解和對比自己所感興趣的產(chǎn)品或服務(wù),進(jìn)而做出相應(yīng)的購買決策;另一方面,商家也可以通過這些評論信息,即時(shí)做出調(diào)整,以改善產(chǎn)品質(zhì)量或服務(wù)。這些影響可以通過產(chǎn)品的銷

2、售預(yù)測情況來觀察到。
　　從商品大量評論中挖掘意見和情感有很大的挑戰(zhàn)性,一是并不能用傳統(tǒng)的文本挖掘算法簡單地把評論定性為正向或負(fù)向,因?yàn)槿藗冊谠u論中用自然語言表達(dá)意見或情感時(shí),方式很復(fù)雜很委婉,常常具有多面性,如極性、取向、程度等,因此如果僅僅把一個(gè)評論簡單的認(rèn)為正負(fù),會漏掉很多情感信息,為了能更準(zhǔn)確地挖掘情感信息,論文使用PLSA模型,將評論博客看成有多個(gè)情感潛在類組成;另一個(gè)挑戰(zhàn)是數(shù)據(jù)規(guī)模的龐大,由于對大規(guī)模數(shù)據(jù)訓(xùn)練時(shí),概率潛

3、在語義分析有非常高的時(shí)間復(fù)雜度和空間復(fù)雜度,研究者們一直在不斷地嘗試,用并行的方式訓(xùn)練模型,雖然能部分解決時(shí)間復(fù)雜度問題,但內(nèi)存仍需加載大量的數(shù)據(jù),本論文結(jié)合mapreduce編程框架,改進(jìn)傳統(tǒng)最大期望EM算法,在集群上并行地對概率潛在語義分析模型進(jìn)行訓(xùn)練,每臺機(jī)器只需加載部分?jǐn)?shù)據(jù),同時(shí)解決了時(shí)間復(fù)雜度和空間復(fù)雜度,實(shí)驗(yàn)結(jié)果顯示了此方法能有效應(yīng)對數(shù)據(jù)擴(kuò)展性的挑戰(zhàn)。
　　評論或博客的情感分析對商業(yè)的價(jià)值可以通過產(chǎn)品的銷售預(yù)測情況來觀

4、察到。論文使用有關(guān)電影的博客數(shù)據(jù)集,用 PLSA挖掘其中的情感信息,之后用電影票房歷史數(shù)據(jù)建立自回歸模型,并結(jié)合PLSA訓(xùn)練出的情感信息,提出基于情感分析的自回歸模型ARBS,對電影票房進(jìn)行預(yù)測,在此基礎(chǔ)上進(jìn)一步考慮評論博客的質(zhì)量和數(shù)量對模型改進(jìn),建立模型ARBS-i,通過實(shí)驗(yàn)對比,比未使用情感信息的自回歸模型預(yù)測的平均絕對誤差率 MAPE分別低6.7％和8.5％,證明了論文所提方法的有效性和優(yōu)越性,為商業(yè)使用用戶情感信息提供了一種解決