基于TrAdaBoost的直推式遷移學(xué)習(xí)文本分類(lèi)技術(shù)改進(jìn)研究.pdf

1、基于遷移學(xué)習(xí)的文本分類(lèi)算法在目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)不足以及訓(xùn)練集和測(cè)試集數(shù)據(jù)分布不一致的情況下，可得到準(zhǔn)確的分類(lèi)器，符合大數(shù)據(jù)環(huán)境下缺少標(biāo)注樣本的現(xiàn)實(shí)，并節(jié)約人工標(biāo)注成本，因此成為當(dāng)前研究的熱點(diǎn)之一。
　　特征選擇方法和遷移學(xué)習(xí)文本分類(lèi)算法是遷移學(xué)習(xí)文本分類(lèi)技術(shù)需要改進(jìn)的兩個(gè)重要環(huán)節(jié)，改進(jìn)的目標(biāo)是在訓(xùn)練集和測(cè)試集數(shù)據(jù)分布不一致的情況下，構(gòu)建可靠的遷移學(xué)習(xí)文本分類(lèi)器，使之分類(lèi)效率優(yōu)于TrAdaBoost整合單一基分類(lèi)器支持向量機(jī)的TrS算

2、法和整合單一基分類(lèi)器樸素貝葉斯的TrN算法。特征選擇方法是文本預(yù)處理過(guò)程的核心，直接影響文本分類(lèi)的精度和效率。融合類(lèi)頻率的類(lèi)文檔頻率特征選擇方法CDFDC對(duì)文檔頻率特征選擇方法進(jìn)行改進(jìn)。TrAdaBoost是常用的基于權(quán)重調(diào)整的遷移學(xué)習(xí)文本分類(lèi)算法框架，帶文檔權(quán)重的樸素貝葉斯算法dwNB以及帶文檔權(quán)重的支持向量機(jī)算法dwSVM為實(shí)現(xiàn)融合dwNB、dwSVM、TrAdaBoost的TrSN算法奠定基礎(chǔ)。
　　CDFDC的對(duì)比實(shí)驗(yàn)結(jié)果

3、說(shuō)明，在20news group數(shù)據(jù)集上，當(dāng)訓(xùn)練集和測(cè)試集數(shù)據(jù)分布一致的情況下，使用樸素貝葉斯NB算法，在選取特征數(shù)量大于3000時(shí)，CDFDC分類(lèi)效率優(yōu)于其他5種特征選擇方法，分類(lèi)精度達(dá)到0.77，運(yùn)行時(shí)間效率僅次于運(yùn)行時(shí)間最短的卡方檢驗(yàn)特征選擇方法CHI。TrSN的對(duì)比實(shí)驗(yàn)結(jié)果說(shuō)明，在使用20news group構(gòu)建的多元遷移學(xué)習(xí)文本分類(lèi)問(wèn)題上，在訓(xùn)練集和測(cè)試集數(shù)據(jù)分布相關(guān)但不同的情況下，TrSN分類(lèi)時(shí)間效率（400到1036秒）明