網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)中基于局部信息的語義傾向性識別算法.pdf

1、網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)主要是對互聯(lián)網(wǎng)上的非法信息進行監(jiān)管.該文設(shè)計并實現(xiàn)了一種層次分類結(jié)構(gòu)中基于局部信息的語義傾向性識別算法.該算法通過對關(guān)鍵字的局部上下文信息采用HMM(隱馬爾可夫模型,Hiden Markov Model)方法進行語義的傾向性分類識別.為了提高分類識別的效果,需要確定合適的關(guān)鍵字的局部上下文范圍(即窗口).該文提出了以句子為窗口大小的窗口量化方法,其中采用互信息的方法計算句子可以為關(guān)鍵字提供的總信息量.實驗結(jié)果表明以句子為

2、窗口大小,相對于其它量化方法而言窗口大小不會過大,而提供的信息量并沒有減少.同時考慮到項目的實際需求,在系統(tǒng)實現(xiàn)時采用的窗口大小的量化方法為:對于沒有明顯句子標(biāo)志的文本而言,采用[-8,+9]的窗口大小;對于有明顯句子標(biāo)志的,則以句子為窗口大小.該文提出了基于HMM模型對關(guān)鍵字依據(jù)其上下文判別類別的分類方法.通過選取不同的訓(xùn)練樣本數(shù),分別利用偏導(dǎo)數(shù)的反向傳播訓(xùn)練方法,訓(xùn)練出不同的參數(shù)模型,并在大規(guī)模真實語料中進行測試,選出最優(yōu)的模型參數(shù)