中文文本挖掘技術的研究與應用.pdf

1、數據挖掘已經是一個發(fā)展很成熟的研究領域，它給人們提供了一個從大量雜亂無章的信息中獲取有用價值信息的方法。目前，對于非結構化數據的數據挖掘技術已有很多研究，而對于網絡中出現的越來越多的文本數據的挖掘技術研究還較少。文本中包含著豐富的內涵和知識，如何對大量的文本數據進行挖掘也是一個很重要的研究領域。文本分類是文本挖掘最基礎的應用，是分析和處理大量文本數據的關鍵技術，它可以有效地解決大數據時代信息多而雜的問題，幫助人們準確高效的定位信息和分流

2、信息，因此具有廣泛的應用前景。
　　本文對中文文本挖掘技術進行了研究，提出了一種新的基于特征義原擴展向量空間模型的文本分類方法，并實現分類器對分類方法進行驗證。本文主要研究內容如下：
　　1.介紹了文本挖掘技術的原理和實現方法。作為文本挖掘的基礎，首先介紹了文本預處理流程，給出了預處理過程的具體步驟，包括：文本表示、中文分詞技術、特征提取和特征權值計算方法，及各個步驟采用的相關算法。然后，介紹了多種常用的文本分類方法，詳述了

3、各種方法的技術原理以及優(yōu)缺點。
　　2.提出了一種基于特征義原擴展向量空間模型（VSM）的文本分類方法。本文根據知網中的“義原”，改進了文本的特征選擇方法，重構向量空間模型。首先對每個類別中的文本采用改進的TF-IDF方法選擇文本特征項，然后再從特征項中提取其中包含的特征義原，最后再對特征義原進行擴展，得到擴展后的特征項，生成該類別的義原文檔。最后通過對生成的義原文檔進行運算，得到每個特征義原的權值。
　　3.本文還介紹了原

4、始向量空間模型（VSM）和同義詞向量空間模型（VS M）。原始VSM，即采用原始特征選擇方法得到的VS M；同義詞VSM，指特征選擇經過同義詞表處理后的 VSM。為了結合不同 VSM的優(yōu)勢，將三者融合，融合后的結果作為文本的特征項選擇空間，得到重構的VSM模型，用來實現文本分類。
　　4.進行實驗驗證了基于擴展VSM的分類方法。本文通過采用不同特征選擇方法進行實驗，得到分類結果的準確率和召回率，并與本文中給出的擴展VSM方法的實驗