垃圾微博信息過濾技術(shù)的研究.pdf

1、社交網(wǎng)絡(luò)以其用戶量大，信息傳播速度快，范圍廣，互動性強(qiáng)的特點(diǎn)成為目前最大且活躍的社交平臺。如新浪微博，微信朋友圈，Google+等社交網(wǎng)絡(luò)平臺已經(jīng)成為互聯(lián)網(wǎng)用戶生活的重要組成部分。社交網(wǎng)絡(luò)在給人們的生活帶來便利的同時，其本身也成為了一些廣告，傳銷分子散布垃圾微博信息的工具。所以，社交網(wǎng)絡(luò)中垃圾微博信息的過濾和微博僵尸賬號的識別已經(jīng)成為了重要的熱點(diǎn)研究課題。
　　本文以新浪微博為研究平臺，采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，從分類和排序的

2、兩種角度識別新浪微博中的僵尸賬號，從而有效地過濾垃圾微博信息，主要工作分為以下四個部分：
　　首先：采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)中的在線主動學(xué)習(xí)算法，設(shè)計(jì)并實(shí)現(xiàn)了基于邏輯回歸，樸素貝葉斯，支持向量機(jī)三種統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型的在線分類系統(tǒng)，分別對單條微博信息進(jìn)行分類。
　　其次：從分類的角度，由于微博屬于短文本，可以提取到的有價(jià)值的特征少，特征向量稀疏，機(jī)器學(xué)習(xí)分類器對單條微博的分類效果有限。因此，引入序貫概率比模型，根據(jù)第一部分前端分類器對

3、每個賬號發(fā)布的單條微博分類結(jié)果序列，來對微博賬號進(jìn)行分類，從而有效識別微博僵尸賬號。
　　再次：以賬號為單位，從用戶社交行為和微博內(nèi)容兩方面提取賬號的特征，通過數(shù)據(jù)分析選取有效的特征，采用libSVM的分類器進(jìn)行離線建模和微博賬號分類。
　　最后：從排序的角度，通過對微博平臺上某個領(lǐng)域的子網(wǎng)中賬號之間的社交關(guān)系，構(gòu)建這個子網(wǎng)的社交關(guān)系矩陣，采用PageRank算法對子網(wǎng)中賬號的價(jià)值度進(jìn)行排序，根據(jù)排序結(jié)果來對賬號進(jìn)行群體劃分