基于種子詞擴(kuò)展的粗俗文本分析方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)信息呈爆炸式增長，人們已經(jīng)習(xí)慣于從網(wǎng)絡(luò)上獲取需要的信息。但是海量的網(wǎng)絡(luò)信息中存在中很多不良信息，對(duì)人們造成了不可避免的負(fù)面影響，比如包含著粗俗用語的網(wǎng)絡(luò)文本，不僅對(duì)網(wǎng)絡(luò)用戶尤其是青少年用戶的身心造成傷害，也會(huì)在社會(huì)產(chǎn)生惡劣的影響。
　　國家語言資源監(jiān)測與研究網(wǎng)絡(luò)媒體中心承擔(dān)了國家社會(huì)科學(xué)基金重大項(xiàng)目“互聯(lián)網(wǎng)環(huán)境下的語言生活方式與建設(shè)和諧的網(wǎng)絡(luò)語言生活研究”，其中的一個(gè)任務(wù)是自動(dòng)監(jiān)測網(wǎng)絡(luò)文本粗俗語言使用情況

2、?；趯?duì)該任務(wù)的研究，本文提出并實(shí)現(xiàn)了一種粗俗文本自動(dòng)判定策略并應(yīng)用到網(wǎng)絡(luò)文本的粗俗程度判定中，取得了比較好的效果。主要工作包括以下三個(gè)部分:
　　第一，針對(duì)相關(guān)研究語料相對(duì)匱乏的現(xiàn)狀構(gòu)建了大規(guī)模粗俗文本語料庫?；跈C(jī)器學(xué)習(xí)的自然語言文本分析都需要大規(guī)模的訓(xùn)練語料庫，但目前缺少關(guān)于粗俗文本的自動(dòng)判定的訓(xùn)練語料。因此本文下載了一百萬篇微博語料，對(duì)其予以標(biāo)注，并采用多數(shù)投票策略對(duì)標(biāo)注一致性予以驗(yàn)證，最終構(gòu)建出基于微博文本的包含約兩萬篇

3、文本的粗俗文本語料庫。
　　第二，提出了一種融合互信息與距離的種子詞擴(kuò)展方法并應(yīng)用于粗俗用語詞典的構(gòu)建過程中。通常，不同的粗俗用語在同一文本中常常共現(xiàn)且距離較近，據(jù)此本文引入詞間相關(guān)性度量，該度量采用互信息與七種距離度量函數(shù)分別對(duì)詞語共現(xiàn)度和詞間距離進(jìn)行刻畫。將部分具有明顯粗俗含義的詞語作為種子詞，構(gòu)建粗俗用語種子詞典，再利用本文方法基于粗俗文本語料庫提取擴(kuò)展詞，構(gòu)建粗俗用語詞典。與僅考慮詞間共現(xiàn)度的基于互信息的詞擴(kuò)展方法相比，本

4、文提出的方法能夠在一定程度上解決網(wǎng)絡(luò)新詞帶來的干擾，從而具有更好的表現(xiàn)。
　　第三，設(shè)計(jì)了一種文本粗俗程度判定模型對(duì)文本評(píng)分。通常一篇文本的文本長度、文中粗俗用語的使用次數(shù)以及粗俗用語本身的粗俗程度等因素對(duì)該文本的粗俗程度判斷起著決定性的作用，據(jù)此，本文將這些因素通過統(tǒng)計(jì)模型進(jìn)行量化表示，以此設(shè)計(jì)出文本粗俗程度判定模型并通過實(shí)驗(yàn)證明其有效性。實(shí)驗(yàn)表明，該模型一方面具有比較低的時(shí)間消耗和較好的分類性能，另一方面可在區(qū)分出粗俗文本的基