不文明微博帖的自動(dòng)識(shí)別方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，各類社交網(wǎng)絡(luò)產(chǎn)品正不斷改變著人們的生活方式。微博作為這些產(chǎn)品中的佼佼者，進(jìn)一步促進(jìn)了個(gè)人與世界的交互。然而微博產(chǎn)品的無(wú)門檻準(zhǔn)入機(jī)制也招致了大量水軍散播的不良信息和用戶無(wú)責(zé)任的惡意言論，它們不僅對(duì)各年齡段微博使用者的身心造成了影響，更危害著整個(gè)網(wǎng)絡(luò)環(huán)境甚至是社會(huì)秩序。
　　為了凈化網(wǎng)絡(luò)環(huán)境、促進(jìn)和諧的網(wǎng)絡(luò)語(yǔ)言生活方式的建設(shè)，需要落實(shí)對(duì)微博信息的監(jiān)管工作，而對(duì)于不文明微博的自動(dòng)識(shí)別則是監(jiān)管工作中的重要環(huán)節(jié)。若要實(shí)

2、現(xiàn)不文明微博的自動(dòng)識(shí)別，應(yīng)對(duì)微博帖進(jìn)行不文明傾向的分類。本文的工作主要包括以下兩大部分:
　　第一，本文提出了不文明微博語(yǔ)料庫(kù)的構(gòu)建方法。由于沒(méi)有合適的微博語(yǔ)料庫(kù)來(lái)開展研究，特別是缺少一定規(guī)模的不文明的微博帖，本文通過(guò)調(diào)用騰訊微博API下載公共時(shí)間線的微博，提取其中的用戶種子，并以用戶種子為基礎(chǔ)獲取大規(guī)模的用戶信息及用戶微博文件。針對(duì)微博數(shù)據(jù)中一些對(duì)研究毫無(wú)意義的微博帖，定義了篩選規(guī)則對(duì)其進(jìn)行剔除。另外為了抽取潛在的不文明微博帖，

3、建立了不文明種子詞表來(lái)匹配一部分可能具有不文明傾向的語(yǔ)料，便于后續(xù)研究工作。最后，對(duì)微博數(shù)據(jù)文件進(jìn)行解析即可索引式地構(gòu)建不文明微博語(yǔ)料庫(kù)。
　　第二，本文提出了不文明微博帖的自動(dòng)識(shí)別方法，它的核心問(wèn)題是微博短文本的分類。我們選擇使用樸素貝葉斯分類器作為分類模型，結(jié)合基于字的二元語(yǔ)言模型思想對(duì)文本進(jìn)行切分以提取關(guān)鍵的不文明特征。在完成語(yǔ)料人工標(biāo)注后，進(jìn)行樸素貝葉斯分類器的訓(xùn)練及分類應(yīng)用。由于在真實(shí)網(wǎng)絡(luò)環(huán)境中不文明微博所占比例未知，引