維、哈文不良網(wǎng)頁(yè)判別方法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為人們快速發(fā)布信息和獲取信息的重要工具。近年來(lái),維吾爾文、哈薩克文網(wǎng)站數(shù)量有了快速增長(zhǎng),具不完全統(tǒng)計(jì),國(guó)內(nèi)維哈文網(wǎng)站目前有兩千多個(gè),且在不斷增加中。民族語(yǔ)言網(wǎng)站在為廣大少數(shù)民族用戶提供豐富多彩本民族文化信息的同時(shí),部分不法之徒利用互聯(lián)網(wǎng)傳播反動(dòng)、煽動(dòng)性言論等不良信息,此類信息嚴(yán)重歪曲我黨方針政策,扭曲事實(shí)真相,極易引起公眾的不理性判斷,對(duì)社會(huì)和諧穩(wěn)定帶來(lái)巨大隱患。如何對(duì)此類信息進(jìn)行有效監(jiān)控、過(guò)濾成為政府

2、部門關(guān)心的問(wèn)題,維哈文不良網(wǎng)頁(yè)識(shí)別技術(shù)也成為科研單位研究熱點(diǎn)。
　　筆者首先設(shè)計(jì)了維哈文網(wǎng)站識(shí)別模型,并利用搜索引擎技術(shù)對(duì)互聯(lián)網(wǎng)維哈文網(wǎng)站進(jìn)行搜尋和數(shù)據(jù)采集,同時(shí)對(duì)維哈文不良網(wǎng)頁(yè)識(shí)別模型中涉及的以下技術(shù)進(jìn)行了研究:維哈文網(wǎng)頁(yè)正文內(nèi)容抽取方法、維哈文分詞技術(shù)、特征詞提取方法,文本分類算法,分類器性能評(píng)價(jià)指標(biāo)。
　　本文在對(duì)維哈文不良網(wǎng)頁(yè)特征分析基礎(chǔ)上,利用卡方檢驗(yàn)方法對(duì)訓(xùn)練集進(jìn)行特征詞抽取。為檢測(cè)不同文本分類算法對(duì)維哈文不良網(wǎng)