維文網絡中不良文本信息檢索、監(jiān)控系統(tǒng)的研究.pdf

1、隨著intemet使用的日益普遍，網絡上存在的各種不良信息(色情、反動、暴力等等)越來越多地干擾著互聯網的正常秩序。由于缺乏傳統(tǒng)媒體對信息發(fā)布的有效監(jiān)控，大量本應受到嚴格管制的信息因而隨之泛濫。如何有效控制這些信息的傳播，并保障網絡的內容安全，成為不良信息檢索、監(jiān)控研究的主要內容之一。 本文主要針對維文網頁信息，通過研究維吾爾語的特點和Web信息檢索技術的思想，討論了維文網絡中不良文本信息檢索、監(jiān)控系統(tǒng)。 本文首先分析了

2、，deb信息檢索的主要理論基礎和關鍵技術，然后利用Spider信息采集技術，實現了信息檢索的源信息采集;根據維吾爾語詞的特點，利用詞干表查找的維文詞干提取算法和結合模式的維文詞語組合算法，對維文網頁文本進行詞特征表示;采用向量空間模型實現文本信息的結構化表達;使用聚類分析法，對結構化文本信息進行聚類，得到文本分類結果。最后，將聚類結果應用于維文網絡中不良文本信息檢索、監(jiān)控中，使得檢索更為準確和容易，解決網絡中存在的不良信息的問題。