中文文本分類的研究.pdf

1、隨著網(wǎng)絡的普及和飛速發(fā)展，網(wǎng)絡資源已經(jīng)成為一個普遍全球的信息寶庫，使得人類全部的信息資源以前所未有的方式和程度在全球內互相連通，它作為一個開放的分布式的信息空間，網(wǎng)絡中的信息量也以指數(shù)的速度增長。如何利用計算機進行智能化的信息處理成為近幾年來研究的熱點和焦點。由于側重點的不同，我們可以將其分為如下幾個領域：信息檢索、信息提取、文本分類、文本摘要等研究領域，其中文本分類是一個廣為關注的課題，這項技術有很廣的市場應用價值。
　　 文

2、本表示是進行文本分類研究的前提。我們常用的文本表示的方法有基于向量空間的文本表示方法和基于統(tǒng)計語言模型的文本表示方法。特征提取和文本表示方法是影響文本分類器兩個重要因素。如何選取特征，用什么樣的方式將其表示出來直接影響到文本分類器的速度和性能。
　　 在數(shù)據(jù)挖掘的諸多方法中，我們首先對基于向量空間的幾種常用分類方法(布爾模型、向量空間模型、BP神經(jīng)網(wǎng)絡)，進行實驗和性能比較。并通過實驗分析出向量維數(shù)、閾值等參數(shù)設置對各類模型的影

3、響，為各種分類算法的改進提供了理論依據(jù)。
　　 在基于統(tǒng)計語言模型的文本分類方法中，本文主要研究了最大模型和決策樹模型。ID3算法是信息過濾中采用較廣泛的方法。在對ID3算法學習分析研究的基礎上，實現(xiàn)了一個基于ID3算法的決策樹分類程序，該程序可以對中文信息進行有效的分類。此外，該程序還可以從分類數(shù)據(jù)中提取分類規(guī)則，這些規(guī)則可以根據(jù)需要進行增加、刪除和修改。實驗結果表明決策樹分類器確實是一種有效的分類技術。本文還提出了一種改進的