基于向量空間模型的文本分類研究與應(yīng)用.pdf

1、隨著信息技術(shù)與互聯(lián)網(wǎng)的迅速發(fā)展,信息容量迅速增長,大量的數(shù)據(jù)資源存儲在各類信息載體中。在這些龐大的信息資源中,蘊含著大量有價值的知識。面對浩瀚的數(shù)據(jù)海洋,人們難以獲取有用的信息,這導(dǎo)致龐大的數(shù)字化信息和人們獲取所需信息能力之間的矛盾日益突出。如何從大量紛雜的信息中獲得所需的知識,是一個非常困難而又富有前景的研究問題。文本分類是對文本集進行有序組織,把內(nèi)容相似、相關(guān)的文本組織在一起,可以將信息歸類,能較好地解決信息雜亂現(xiàn)象,方便準確地定位

2、所需信息和對信息分流,因此文本分類就成為文本信息檢索、文本信息數(shù)據(jù)挖掘的重要基礎(chǔ)與前提。
　　 國內(nèi)外許多學(xué)者對文本分類技術(shù)進行了研究,獲得了大量的研究成果,給出了許多文本分類模型,如布爾模型、向量空間模型、概率模型等。本文在前人研究的基礎(chǔ)上,對基于向量空間模型的文本分類技術(shù)進行了研究與分析?；谙蛄靠臻g模型的文本分類包括文本預(yù)處理、特征選擇、特征權(quán)重計算、分類器構(gòu)造、分類算法等多個模塊。
　　 文本預(yù)處理是文本分類的第

3、一階段,主要是對文本進行結(jié)構(gòu)處理和分詞處理:接著,特征選擇采用一定的算法(如信息增益算法),對文本特征進行提取,保留重要詞,舍棄次要詞；特征項權(quán)重計算用來確定特征權(quán)值,后者被用來構(gòu)造分類器,直接關(guān)系到文本分類效果。分類器構(gòu)造分為訓(xùn)練與測試兩個階段,訓(xùn)練階段被用來構(gòu)造分類器；測試階段利用測試集已有的類標號信息對分類器進行評價,獲取分類準確性的評判:分類算法被用來對文本進行分類。
　　 本文在仔細分析前人工作的基礎(chǔ)上,主要展開了下列

4、研究:
　　 (1)概述了文本分類的過程和相關(guān)技術(shù),包括文本預(yù)處理、中文分詞、向量空間模型、特征項選擇、特征項權(quán)重計算等。
　　 (2)給出了一個文本分類模型,并對模型的各模塊進行了論述,特別描述了文本特征選擇及特征項權(quán)重計算。
　　 (3)改進了TF-IDF特征項權(quán)重算法,改進的特征項權(quán)重算法綜合考慮了特征詞在類間和類內(nèi)的分布情況以及特征詞在文本中的位置信息,給出了使用改進的特征項權(quán)重算法構(gòu)造文本分類器的步驟。