基于規(guī)則和相關(guān)度的微博垃圾評論檢測系統(tǒng)及實(shí)現(xiàn).pdf

1、微博的使用在生活中已經(jīng)成為一個很重要的信息來源或工作或娛樂或推廣或?qū)ひ挘S著微博使用量的擴(kuò)大，微博評論也變得豐富多彩，甚至有時回復(fù)成為了亮點(diǎn)。也正因此如此，越來越多的人開始關(guān)注微博評論，甚至是一些別有用心的垃圾評論制造者。然而微博垃圾評論的出現(xiàn)，讓評論的形象大打折扣。因此本文重點(diǎn)是發(fā)現(xiàn)并處理微博中的垃圾評論，總結(jié)垃圾評論的規(guī)則和通過相關(guān)度判斷出評論的發(fā)展趨勢并利用WEB開發(fā)的B/S結(jié)構(gòu)構(gòu)建微博評論分類系統(tǒng)。新浪微博是當(dāng)今微博幾大平臺之一

2、，技術(shù)成熟的API接口為很多第三方開發(fā)用戶提供了方便。
　　本系統(tǒng)從新浪微博數(shù)據(jù)平臺API接口下載微博評論，并作為實(shí)驗(yàn)樣本，導(dǎo)入自行開發(fā)的垃圾微博評論分類系統(tǒng)中，存儲到指定數(shù)據(jù)庫，通過參數(shù)設(shè)定設(shè)定參數(shù)的初期規(guī)則庫。將數(shù)據(jù)到如分類系統(tǒng)經(jīng)過規(guī)則庫過濾形成分類，在此同時分類的評論增強(qiáng)了評論規(guī)則庫的成熟度。在過濾過程中使用到了神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)挖掘理論。利用神經(jīng)網(wǎng)路來聯(lián)系數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，通過長期總結(jié)的規(guī)則來評判評論的分類情況。本系統(tǒng)的特

3、色在系統(tǒng)中的產(chǎn)生垃圾評論的同時還會通過相關(guān)度和數(shù)據(jù)挖掘形成新的信息來強(qiáng)壯本系統(tǒng)的規(guī)則庫。這個過程產(chǎn)生了評論規(guī)則庫。當(dāng)規(guī)則庫趨近成熟時分類結(jié)果更趨于所需分類結(jié)果。在程序中還涉及到可以切換人工手動挑選的功能，本文認(rèn)為這是必不可少的，正所謂人工智能與人工密不可分，系統(tǒng)日志功能為系統(tǒng)的正常運(yùn)行保駕護(hù)航。
　　本系統(tǒng)的開發(fā)語言Java，采用JSP技術(shù)實(shí)現(xiàn)網(wǎng)頁界面。Java最大優(yōu)點(diǎn)是跨平臺能力強(qiáng)，系統(tǒng)運(yùn)行穩(wěn)定。在大的數(shù)據(jù)處理的微博評論分類系統(tǒng)