基于BBS文本信息的中文自動分詞系統(tǒng)的研究.pdf

1、隨著Internet技術的發(fā)展，各種網(wǎng)絡應用服務越來越多，BBS(Bullet inBoards System)的開設為廣大網(wǎng)絡用戶開辟了自由發(fā)表言論的空間，但一些不健康的、反動的言論也給我們的社會和國家?guī)砹素撁嬗绊?。如何準確的從大量用戶言論中有效的清除不文明及反動言論成為當前網(wǎng)絡管理人員越來越關心的問題。傳統(tǒng)的BBS管理方法隨著所擁有信息量的急劇增大，不但顯得滯后且效率低下，已很難適應時代的發(fā)展。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的不

2、足，針對大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。因此，如何應用數(shù)據(jù)挖掘技術來有效、快速地實現(xiàn)BBS的安全管理工作就成為各網(wǎng)站越來越關注的熱點。 目前針對BBS文檔的鑒別與過濾還不成熟。由于BBS的特殊性，用于普通Web文檔和電子郵件的鑒別技術在用于鑒別BBS文檔時效果并不理想。研究對BBS文本內(nèi)容進行數(shù)據(jù)挖掘，發(fā)現(xiàn)并自動刪除不健康及反動言論，對網(wǎng)絡管理有著非常重要的現(xiàn)實意義。在處理大量文檔時，需要從大量文檔數(shù)據(jù)中分析和提取有用信息，需要

3、相關的工具完成不同文檔的比較，以及文檔重要性和相關性的排列，或找出多文檔的模式或趨勢。因此，文本挖掘就成為數(shù)據(jù)挖掘中一個日益流行而重要的研究課題。 文本挖掘即文本數(shù)據(jù)庫中的知識發(fā)現(xiàn)，它是數(shù)據(jù)挖掘的一個分支。文本挖掘作為從浩瀚的文本數(shù)據(jù)中發(fā)現(xiàn)潛在的有價值知識的一種有效技術，已經(jīng)成為近年來的研究熱點。基于BBS的文本挖掘就是從BBS的內(nèi)容或其描述中提取所需信息的過程，它在BBS的管理中扮演著越來越重要的角色。 對中文文本進行

4、分析的一個前提條件是對中文文本進行分詞處理，中文分詞是中文信息處理領域中的基礎課題，也是一個難點問題。由于中文文本是按句連寫的，詞間無間隙，按句連寫轉(zhuǎn)換成按詞連寫，詞的正確切分是進行中文文本處理的必要條件，它是一切工作的基礎。本文的主要工作就是設計和實現(xiàn)一種快速分詞算法，將BBS用戶提交給服務器準備發(fā)送的內(nèi)容截獲并保存在文本文件中，并對這些文本文件進行分詞處理，為下一步的文本分類及實現(xiàn)文本挖掘的要求和BBS的安全管理打下基礎。