基于主動(dòng)學(xué)習(xí)的中文分詞方法研究.pdf

1、中文分詞是中文信息處理領(lǐng)域內(nèi)的一個(gè)重要課題，傳統(tǒng)的分詞方法多基于統(tǒng)計(jì)模型，盡管可以取得不錯(cuò)的效果，但是統(tǒng)計(jì)模型依賴大量有標(biāo)注樣本，具有人工標(biāo)注樣本代價(jià)高的缺點(diǎn)。主動(dòng)學(xué)習(xí)方法在解決分詞問題時(shí)會(huì)根據(jù)處理進(jìn)程，選擇最合適的少量的樣本進(jìn)行人工標(biāo)注，從而達(dá)到通過使用大量無標(biāo)注樣本來提高分詞效果的目的。因此，本文將主要研究基于主動(dòng)學(xué)習(xí)的中文分詞方法。
　　本文首先介紹了中文分詞的研究背景、研究意義和常用的分詞方法。接下來介紹了條件隨機(jī)場模型和

2、主動(dòng)學(xué)習(xí)方法，并對如何把條件隨機(jī)場模型和主動(dòng)學(xué)習(xí)方法引入到分詞領(lǐng)域中做了闡述。最后重點(diǎn)介紹了本文提出的三種基于主動(dòng)學(xué)習(xí)的中文分詞方法:
　　1.提出了基于委員會(huì)投票的主動(dòng)學(xué)習(xí)分詞方法。該方法的核心思想是通過集成學(xué)習(xí)方法來幫助構(gòu)建委員會(huì)，選擇委員會(huì)投票分歧度最大的樣本作為最有價(jià)值的樣本進(jìn)行人工標(biāo)注。
　　2.提出了一種基于分層選擇策略的主動(dòng)學(xué)習(xí)分詞方法。該方法的主要特點(diǎn)是在不確定性選擇方法基礎(chǔ)上，把分詞過程中的專有字符與其它漢