基于python的中文文本分類研究.pdf

1、伴隨著大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)包含了越來越多的各種格式的數(shù)據(jù)和信息，而這些信息中的大部分都是以text或者hypertext的格式出現(xiàn)的，那么如何有效的組織和管理這些大規(guī)模的文本數(shù)據(jù)和信息，并且能夠精準地從中挖掘出有用的信息正是我們目前所面臨的困難，所以基于機器學習的中文文本分類技術已經(jīng)成為一項非常有意義的研究課題。
　　本文選取網(wǎng)頁新聞作為語料庫，針對中文文本分類問題進行了深切的探討和研究。本文首先介紹了文本分類領域的研究現(xiàn)狀；

2、接著對文本分類的相關技術進行了探索和研究，包括信息檢索模型、文本的向量表示和中文文本分詞的相關技術。在傳統(tǒng)的TFIDF算法基礎上，本文創(chuàng)新性地采用詞頻放大法弱化文本長度對特征項權重的影響；在處理文本高維稀疏性向量矩陣時引入哈希技巧，提高了整個分類過程的空間和時間效率。在此基礎上，本文進一步介紹了各種分類算法，包括樸素Bayes算法、K近鄰算法、隨機森林算法以及支持向量機算法。
　　最后本文通過Python軟件編程完整實現(xiàn)了中文文本