基于TF-IDF的文本分類系統(tǒng)中權(quán)重計(jì)算和特征選擇方法研究.pdf

1、詞頻-逆文本頻率(Term Frequency-Inverse Document Frequency，TF-IDF)是一種經(jīng)典的基于VSM模型的權(quán)重計(jì)算方法，其算法相對簡單，非常便于計(jì)算，應(yīng)用較多。但該方法比較粗糙，容易導(dǎo)致特征空間高維稀疏?；趥鹘y(tǒng)的TF-IDF特征選擇思想，本文引入類別描述因子，基于類內(nèi)、類間信息修正TF-IDF權(quán)重因子，提出一種包含類別信息的TF-IDF-CD(Category Description，CD)模型。

2、該模型的TF部分含有特征項(xiàng)的類內(nèi)頻數(shù)信息，IDF部分含有特征項(xiàng)的類間頻數(shù)信息，突出類別貢獻(xiàn)大的特征的權(quán)重，抑制次要特征權(quán)重。最后通過文本分類實(shí)驗(yàn)，將其在偏斜語料和均衡語料下分別與NB、KNN等分類器結(jié)合進(jìn)行文本分類實(shí)驗(yàn)，比較其與TF-IDF、CTD等幾種方法的分類精確度。結(jié)果顯示，TF-IDF-CD方法在特征項(xiàng)較少時(shí)已有很好分類效果。相比TF-IDF，在不同語料以及不同分類器下，其平均分類精度均有大幅提高，最低為14％，最高可達(dá)30％。