大數(shù)據(jù)環(huán)境下垃圾評論過濾系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的不斷發(fā)展，網(wǎng)絡(luò)購物逐漸成為一種消費潮流。在線評論作為網(wǎng)絡(luò)購物的重要組成部分，為網(wǎng)購用戶做出購買決策及制造商改善產(chǎn)品提供重要依據(jù)。由于在線評論的好壞能夠直接影響產(chǎn)品的銷售，互聯(lián)網(wǎng)上出現(xiàn)大量誤導(dǎo)網(wǎng)購用戶的且具有惡意目的的垃圾評論，因此實現(xiàn)在線垃圾評論的自動化檢測成為大家關(guān)注的焦點。國外學(xué)者最早開展了基于英文的在線垃圾評論自動化檢測研究，但語言的差異性導(dǎo)致相關(guān)的研究成果難以應(yīng)用于中文在線垃圾評論自動化檢測。為此，本文對中文垃圾

2、評論的自動化檢測展開研究，并提出了大數(shù)據(jù)環(huán)境下中文在線評論存儲策略。論文的主要工作如下:
　　1)構(gòu)建中文在線評論資料庫。本文定制了一款網(wǎng)絡(luò)爬蟲工具對互聯(lián)網(wǎng)上的中文在線評論實現(xiàn)自動化抓取，并利用分布式文件系統(tǒng)HDFS來確保中文在線評論海量數(shù)據(jù)的可靠存儲。
　　2)中文垃圾評論檢測模型的建立。本文將中文在線垃圾評論識別視為文本分類問題，并采用分類模型加以解決。為避免中文在線評論的差異性，本文僅基于文本內(nèi)容構(gòu)建包含九個特征的文本