基于python的中文文本分類研究.pdf

1、伴隨著大數(shù)據(jù)時(shí)代的到來，互聯(lián)網(wǎng)包含了越來越多的各種格式的數(shù)據(jù)和信息，而這些信息中的大部分都是以text或者h(yuǎn)ypertext的格式出現(xiàn)的，那么如何有效的組織和管理這些大規(guī)模的文本數(shù)據(jù)和信息，并且能夠精準(zhǔn)地從中挖掘出有用的信息正是我們目前所面臨的困難，所以基于機(jī)器學(xué)習(xí)的中文文本分類技術(shù)已經(jīng)成為一項(xiàng)非常有意義的研究課題。
　　本文選取網(wǎng)頁新聞作為語料庫，針對(duì)中文文本分類問題進(jìn)行了深切的探討和研究。本文首先介紹了文本分類領(lǐng)域的研究現(xiàn)狀；

2、接著對(duì)文本分類的相關(guān)技術(shù)進(jìn)行了探索和研究，包括信息檢索模型、文本的向量表示和中文文本分詞的相關(guān)技術(shù)。在傳統(tǒng)的TFIDF算法基礎(chǔ)上，本文創(chuàng)新性地采用詞頻放大法弱化文本長(zhǎng)度對(duì)特征項(xiàng)權(quán)重的影響；在處理文本高維稀疏性向量矩陣時(shí)引入哈希技巧，提高了整個(gè)分類過程的空間和時(shí)間效率。在此基礎(chǔ)上，本文進(jìn)一步介紹了各種分類算法，包括樸素Bayes算法、K近鄰算法、隨機(jī)森林算法以及支持向量機(jī)算法。
　　最后本文通過Python軟件編程完整實(shí)現(xiàn)了中文文本