自動文本分類算法研究.pdf

1、Internet的飛速發(fā)展導致網絡上的文檔信息急劇增長，如何自動處理這些海量信息成為目前重要的研究課題。文本分類是對文檔信息進行有序組織的方法，它能夠為信息檢索提供更高效的搜索策略和讓其返回更準確的檢索結果。本文研究自動文本分類算法。本文首先介紹了文本分類的發(fā)展概況，對常用的分類算法，比如樸素貝葉斯(NaiveBayes，簡稱NB)、TFIDF、k近鄰(kNearestNeighbors，簡稱k-NN)和支持向量機(SupportVec

2、torMachine，簡稱SVM)等進行了介紹和分析，為后續(xù)章節(jié)的研究提供了理論和實驗基礎。 平滑技術雖然能夠使NB算法避免零概率問題，但該技術本身存在一些不足之處，為此本文提出了兩種新的策略：NBTF和NBTS，可以在不采用平滑技術的情況下消除NB算法中的零概率問題。分析和實驗表明，與Laplace和SGT平滑算法進行比較，新策略在有效性、適應性等方面具有較好的性能。 本文對調整訓練文本權值能否提高單分類器性能的問題進

3、行了研究，采用了較簡單的權值調整策略，提出了兩種新算法：KTrain1和KTrain2。分析和實驗表明，新算法能夠對分類器性能起到一定的提升作用。 本文在研究TFIDF和k-NN算法的基礎上，融入增大錯分訓練文本權值可以改進分類器性能的思想，提出了一種改進的TFIDF算法——S-TFIDF，該算法采用k-NN算法思想改進TFIDF算法性能。實驗驗證了S-TFIDF算法在分類性能上優(yōu)于TFIDF和k-NN算法。同時，S-TFIDF