利用文本可信度的增量文本分類研究.pdf

1、標注訓練樣本是文本自動分類中的基礎(chǔ)和關(guān)鍵。大規(guī)模的標注訓練樣本需要人工干預，耗時、費力，難以在有限的時間內(nèi)完成，而未標注文本卻十分豐富。如何利用少量的標注樣本和大量的未標注文本快速（限時）構(gòu)造出數(shù)量較大的標注樣本成為了文本增量學習中的熱點和難點。本文采用FEM評估方法和SEM評估方法來度量文本的可信度，將可信度高的文本看作標注文本，以此構(gòu)造算法來解決上述問題。具體工作如下:
　　 本文將聚類和貝葉斯增量學習結(jié)合起來，提出了基于文

2、本可信度的增量學習方法。該算法包括2個步驟:(1)首先對新增訓練集進行子集劃分，構(gòu)造出一個子集序列;利用FEM評估方法依次迭代找出每個子集中的正確集區(qū)間和模糊區(qū)間，將正確集區(qū)間內(nèi)的文本看作可信度高的文本，合并到標注樣本集。在此處理過程中，后一步的FEM評估中所使用的分類器是根據(jù)初始標注樣本集和在此步之前獲得的所有可信度高的文本共同構(gòu)成的文本集訓練得到的。(2)將前面所有模糊區(qū)間合并為一個大的模糊區(qū)間，并對其進行AP聚類處理，利用SEM評

3、估方法將聚類結(jié)果中可信度高的類簇中的可信度高的文本合并到標注樣本集。更新模糊區(qū)間，迭代第(2)個步驟，直至模糊區(qū)間為空。這里，可信度高的類簇指純度高的類簇。
　　 本文提出方法的優(yōu)點:(1)弱化了噪音數(shù)據(jù)的影響，提高了分類器的精度;(2)每個增量步選擇的文本數(shù)多，迭代次數(shù)少，大幅度減少學習時間，更適合于大規(guī)模數(shù)據(jù)的處理。(3)在處理海量未標注文本時，僅采用FEM評估方法，就可以快速獲得約80％標注可信度非常高的文本，無需標注更多