基于內(nèi)容的Web不良文本信息過(guò)濾技術(shù)研究.pdf

1、Internet是新興的信息發(fā)布和流通媒體，其中文本信息占整個(gè)互聯(lián)網(wǎng)信息總量的60％，由于缺乏類似于傳統(tǒng)媒體一樣對(duì)信息發(fā)布的監(jiān)控手段，大量沒(méi)有受到監(jiān)控和控制的網(wǎng)絡(luò)不良文本信息隨之泛濫。如何過(guò)濾網(wǎng)絡(luò)中的不良文本信息，保障互聯(lián)網(wǎng)的信息安全，是當(dāng)前網(wǎng)絡(luò)不良信息過(guò)濾研究的熱點(diǎn)和富有挑戰(zhàn)性的研究課題。
　　 本文針對(duì)目前網(wǎng)絡(luò)不良文本的信息過(guò)濾技術(shù)存在不足，主要開(kāi)展了如下研究：
　　 (1)針對(duì)網(wǎng)頁(yè)文本的文本表達(dá)雖然可以使用傳統(tǒng)(普

2、通)文本的表達(dá)方法，但是它并不完全等同于傳統(tǒng)文本等問(wèn)題，分析研究了現(xiàn)有的Web網(wǎng)頁(yè)正文預(yù)處理的相關(guān)技術(shù)與算法。
　　 (2)針對(duì)現(xiàn)有分詞技術(shù)存在分詞歧義性問(wèn)題，研究了現(xiàn)有的基于字同現(xiàn)頻率的文本主題抽取算法在不良文本信息過(guò)濾的應(yīng)用。該算法根據(jù)關(guān)鍵詞在主題的分布情況，以及在非主題中的分布情況分別給予關(guān)鍵詞不同大小的權(quán)重，從而實(shí)現(xiàn)有針對(duì)性的過(guò)濾，即該算法在色情文本過(guò)濾應(yīng)用中具有很高的精度。
　　 (3)針對(duì)現(xiàn)有的基于字同現(xiàn)頻率

3、的文本主題抽取算法存在誤判率高問(wèn)題，提出了基于臨近類別分類的過(guò)濾方法。該方法對(duì)文本主題抽取算法過(guò)濾的結(jié)果進(jìn)行二次過(guò)濾，有效提高了過(guò)濾的精度。
　　 (4)基于臨近類別分類的原理方法，提出了一個(gè)基于內(nèi)容的臨近類別分類的過(guò)濾模型。該模型對(duì)主題抽取的過(guò)濾結(jié)果進(jìn)行分類處理，進(jìn)一步判斷該信息是不良信息還是近似信息，以確保信息分類的高精度。
　　 (5)針對(duì)現(xiàn)有文本過(guò)濾算法的不足，改進(jìn)了傳統(tǒng)的KNN、Bayes算法，有效提高了不良文