網(wǎng)絡(luò)聊天室內(nèi)容監(jiān)控預(yù)處理研究.pdf

1、隨著Internet的飛速發(fā)展，網(wǎng)絡(luò)聊天室以其操作簡單、方便快捷、私密性好等優(yōu)點(diǎn)已經(jīng)迅速發(fā)展成為最普遍的網(wǎng)絡(luò)交流方式之一。它在為用戶帶來便利的同時(shí)，也為一些別有用心的人進(jìn)行惡意甚至違法的活動打開了方便之門。因此，對聊天室內(nèi)容進(jìn)行監(jiān)控已成為亟待解決的問題。 對聊天數(shù)據(jù)進(jìn)行預(yù)處理是聊天室內(nèi)容監(jiān)控過程中的基礎(chǔ)部分，預(yù)處理結(jié)果的好壞，直接影響到監(jiān)控系統(tǒng)工作的穩(wěn)定性、快速性和準(zhǔn)確性。由些可見，針對聊天數(shù)據(jù)預(yù)處理工作的研究是十分重要和必要的

2、。 本文以流行的IRC網(wǎng)絡(luò)聊天室的內(nèi)容監(jiān)控為背景，對聊天數(shù)據(jù)的預(yù)處理技術(shù)進(jìn)行了深入的研究。論文的主要工作與特色有： (1)通過加強(qiáng)的聊天數(shù)據(jù)時(shí)序性啟發(fā)規(guī)則集推斷聊天數(shù)據(jù)的社會網(wǎng)絡(luò)，并結(jié)合用戶對話相似性優(yōu)化社會網(wǎng)絡(luò)。該方法通過分析用戶間聊天對話表現(xiàn)出的時(shí)間上的一般性規(guī)律，總結(jié)出用于推斷社會網(wǎng)絡(luò)的啟發(fā)性規(guī)則集，并根據(jù)該規(guī)則集來推斷聊天數(shù)據(jù)中包含的社會網(wǎng)絡(luò)；合并相似用戶對話，結(jié)合對話內(nèi)容相似性優(yōu)化社會網(wǎng)絡(luò)。 (2)提出

3、了聊天數(shù)據(jù)中噪聲對話的概念，并設(shè)計(jì)了噪聲判斷和過濾的方法。該方法根據(jù)通過從聊天數(shù)據(jù)中推斷出的社會網(wǎng)絡(luò)確定用戶之間的交流關(guān)系；然后通過分析用戶對話的數(shù)量、時(shí)間和對話對象等因素，建立噪聲過濾的條件集，并根據(jù)過濾條件集遍歷社會網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)，刪除結(jié)點(diǎn)的噪聲對話和孤立結(jié)點(diǎn)。 (3)設(shè)計(jì)了一種專門針對聊天數(shù)據(jù)中詞匯權(quán)值計(jì)算的方法。首先通過比較聊天數(shù)據(jù)集與文本集之間的差別，概括出聊天數(shù)據(jù)的特殊性，并分析目前監(jiān)控系統(tǒng)中常用的TF<'*>ID