基于粗糙集的文本自動分類研究.pdf

1、遼寧師范大學碩士研究生學位論文論文題目：基于粗糙集的文本自動分類研究研究生：張瑩指導教師：謝福鼎教授學科專業(yè)：計算機應用技術年級：2003級遼寧師范大學研究生學院2006年5月基于粗糙集的文本自動分類研究第一章緒論隨著網絡的迅速發(fā)展，越來越多的文本信息表現(xiàn)為電子文檔的形式，面對如此龐大的而且急劇膨脹的信息海洋，如何有效的組織和管理這些信息，并且快速、準確、全面的找到用戶所需要的信息是當前信息科學和技術領域面臨的一大挑戰(zhàn)。文本分類作為處理

2、和組織大量的文本數據的關鍵技術，能將大量的文本自動分類，可以較大程度上解決信息雜亂的問題，方便用戶準確地定位所需的信息和分流信息。因此文本自動分類作為信息處理的關鍵技術，具有廣泛的研究背景和現(xiàn)實意義。11文本分類的國內外研究現(xiàn)狀國外對丁文本分類的研究開展較早，50年代末，HPLuhn在這一領域進行了開創(chuàng)性的研究，提出了詞頻統(tǒng)計思想用于自動分類。1960年，Maronl2J發(fā)表了關于自動分類的第一篇論文，隨后，眾多學者在這一領域進行了卓有

3、成效的研究工作。到目前為止，國外的文本挖掘研究已經從最初的可行性基礎研究經歷了試驗性研究進入到了實用化階段，并在郵件分類、電子會議、信息過濾等方面取得了較為廣泛的應用。下面列出了一些著名的國外文本挖掘工具：(1)IBM的文本智能挖掘機IBM的文本智能挖掘機由高級搜索引擎(AdvancedSearchEngine)、TextMiner、Web訪問工具(WebAccessTools)tl文本分析工具(TextAna【ysisToo_Is)組

4、成。其主要功能是特征提取、文檔聚集、文檔分類和檢索，支持16種語言的多種格式文本的檢索，采用深層次的文本分析和索引方法，支持全文搜索和索引搜索，搜索條件可以是自然語言和布爾邏輯條件，是Client／Server結構，支持大量并發(fā)用戶做檢索任務，聯(lián)機更新索引，同時義能完成其他的搜索任務。TextMiller的特征抽取器主要從文檔中抽取人名、組織名和地名以及由多個字組成的復合詞，也能抽取表達數字的詞匯，例如：“錢”、“百分比”、“時間”等。

5、佗1Autonomy公司的核心的產品是ConceptAgents。在經過訓練以后。它能自動從文本中抽取概念。該產品的算法提出者是邁可林奇，他認為，按照香農的信息論，文檔中除有效概念外，還有大量的冗余信息。而詞或短語是否為冗余可根據它在文檔中的隨機度(概率)來判定。如果濾除冗余，就可以從文檔中自動抽取表達文檔主題的概念。林奇的技術路線是，首先對系統(tǒng)進行訓練，處理一些文檔，由使用者對非冗余概念做出認定和識別。按照貝葉斯概率理論。這一步實際上