KNN文本分類中基于遺傳算法的特征提取技術(shù)研究.pdf

1、文本分類是數(shù)據(jù)挖掘中一個(gè)重要的研究領(lǐng)域,KNN文本分類算法是一種基于實(shí)例的、非參數(shù)的文本分類方法,是向量空間模型(VSM)下最好的文本分類方法之一。其主要步驟有:文本分詞,特征提取(特征權(quán)重的計(jì)算和特征詞的選擇),表示特征模型的建立,訓(xùn)練分類器。其中處于文本分類系統(tǒng)核心地位的是特征提取,特征提取方法的好壞對(duì)文本分類的結(jié)果有重要影響。傳統(tǒng)的特征提取方法是屬于基于統(tǒng)計(jì)的方法,如文檔頻度(DF)、期望交叉熵(ECE)、幾率比(OR)、信息增益

2、(IG)、互信息(MI)、X2統(tǒng)計(jì)(CHI)、術(shù)語強(qiáng)度等。以上方法存在諸多不足:當(dāng)類別和特征分布高度不平衡時(shí),不能有效地處理低頻詞:對(duì)于單個(gè)特征的處理不當(dāng),導(dǎo)致局部最優(yōu)解的產(chǎn)生等。此外,KNN分類算法中能否選取合適的K值會(huì)影響分類結(jié)果的質(zhì)量,采取固定K值的方法有其自身的缺陷,它忽略了訓(xùn)練文本類別和文檔數(shù)目對(duì)K值的影響,如果K值過大,在選擇K個(gè)近鄰的時(shí)候,分類結(jié)果易趨向于文本數(shù)目較多的類別,分類性能較差;而K值選擇過小,得到的近鄰數(shù)少,會(huì)

3、降低分類精度,同時(shí)也放大了噪聲數(shù)據(jù)的干擾。
　　 針對(duì)特征提取技術(shù)中的問題,本文提出基于遺傳算法的特征提取算法,此方法將詞條的X2統(tǒng)計(jì)值引入到特征向量中,X2統(tǒng)計(jì)值能標(biāo)識(shí)詞條與類別的關(guān)聯(lián)度的大小,將此種向量作為遺傳算法的初始種群進(jìn)行啟發(fā)式搜索能提高分類的準(zhǔn)確率,與此同時(shí),針對(duì)特征提取的性質(zhì),本文提出新的適應(yīng)度函數(shù)和交叉規(guī)則。實(shí)驗(yàn)表明,基于遺傳算法的特征提取算法能選擇出準(zhǔn)確表征文本類別的特征項(xiàng)。
　　 針對(duì)KNN分類算法采