面向文本分類的中文文本挖掘技術研究及實現(xiàn).pdf

1、目前,隨著信息技術的快速發(fā)展,特別是網絡的普及,以文本形式表示的信息越來越多,如何在紛繁蕪雜的信息海洋中找到自己需要的有用信息,具有廣泛的應用背景和實用價值.文本挖掘作為從浩瀚的文本數(shù)據中發(fā)現(xiàn)潛在的有價值知識的一種有效技術,已經成為近年來的研究熱點,許多研究人員對文本挖掘技術進行了大量的研究,但這些研究大部分是在英文環(huán)境下進行的,對中文的研究卻很少.該文對中文文本挖掘技術進行了研究,在此基礎上實現(xiàn)了一個文本分類系統(tǒng).對中文文本進行分析的

2、一個前提條件是對中文文本進行分詞處理,中文分詞也是進行中文信息處理的一個難點.針對這一現(xiàn)狀,該文在陳桂林博士的分詞方法基礎上,設計和實現(xiàn)了一種快速分詞算法.該方法將常用靜態(tài)詞典分為停用詞和非停用詞兩類詞,在建立詞典時,將是否停用詞作為詞的一個特性.分詞詞典建立首字Hash表和詞索引表二級索引,使得在加載詞典時將詞索引加入內存,可以采用二分法對文本進行最大匹配分詞,并在分詞的同時根據詞的類別將對分類沒有意義的停用詞去掉,大大降低了特征維數(shù)

3、.這種分詞算法將分詞和特征集縮減結合在一起,從而減少了特征縮減過程而使時間復雜度大大降低.這種分詞算法在實驗中證明實用性強,效果好.文本分類是文本數(shù)據挖掘領域的一個重要研究方面,采用支持向量機對文本進行分類是當前的一個研究熱點.該文設計和實現(xiàn)了一個基于支持向量機的實用文本分類系統(tǒng),介紹了系統(tǒng)實現(xiàn)中的一些主要技術問題.文本表示采用向量空間模型,文本的評價方法采用了查準率和查全率,文本的特征抽取采用了一種互信息方法.分類算法是文本分類的關鍵