基于EM算法的半監(jiān)督文本分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和大量文本資源的出現(xiàn)，自動(dòng)文本分類成為研究熱點(diǎn)。為了提高文本分類器的性能，通常需要大量帶標(biāo)注的訓(xùn)練文本。但是訓(xùn)練文本需要專家構(gòu)造，這是一項(xiàng)費(fèi)時(shí)且耗力的工作。然而，我們可以很容易獲得大量未標(biāo)注文本。半監(jiān)督學(xué)習(xí)技術(shù)把少量的標(biāo)注文本與大量未標(biāo)注文本相結(jié)合，可以有效解決標(biāo)注瓶頸問題，因此逐漸引起人們的關(guān)注。
　　 基于EM的半監(jiān)督文本分類是通過EM算法將標(biāo)注訓(xùn)練集與未標(biāo)注訓(xùn)練集相結(jié)合構(gòu)建分類器，利用未標(biāo)注訓(xùn)練集的信息提高

2、分類器的性能。該方法存在以下不足：由于初始標(biāo)注訓(xùn)練集信息資源不足，分類器精度不高，未標(biāo)注訓(xùn)練文本易被錯(cuò)誤分類，這些不可靠數(shù)據(jù)會(huì)在一定程度上影響分類器的性能。針對(duì)該問題，本文提出一種改進(jìn)的基于數(shù)據(jù)重構(gòu)的半監(jiān)督EM文本分類方法。該方法根據(jù)半監(jiān)督學(xué)習(xí)的聚類假設(shè)，利用未標(biāo)注樣本與標(biāo)注樣本之間的關(guān)系，在每次迭代中利用數(shù)據(jù)剪輯和集成學(xué)習(xí)思想識(shí)別未標(biāo)注訓(xùn)練集中的不可靠數(shù)據(jù)，對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)重構(gòu)。通過實(shí)驗(yàn)驗(yàn)證了該方法改進(jìn)了分類器的性能。