基于最大熵模型的中國人名自動識別.pdf

1、漢語自動分詞是中文信息處理的基礎(chǔ)工程，中國人名的自動識別則是漢語自動分詞的難點之一，已經(jīng)成為制約漢語自動分詞系統(tǒng)準(zhǔn)確率的一大瓶頸。 本文在分析中國人名用字以及中國人名與其上下文聯(lián)系的基礎(chǔ)上，采用最大熵模型對中國人名進(jìn)行自動識別。 本文對中國人名的內(nèi)部成詞情況以及中國人名與其上下文的聯(lián)系進(jìn)行了分析，得出了中國人名上下文與中國人名有著很強(qiáng)的聯(lián)系并且中國人名內(nèi)部構(gòu)成也呈現(xiàn)一定的統(tǒng)計特性的結(jié)論。 本文用最大熵模型自動識別

2、中國入名，識別流程分為訓(xùn)練和識別兩個階段。 在訓(xùn)練階段中，主要采用最大熵模型對熟語料進(jìn)行參數(shù)訓(xùn)練。首先用ICTCLAS的人名角色表對語料庫的詞性進(jìn)行角色替換，然后構(gòu)造特征模板庫并且用特征模板庫從角色替換后的語料庫中提取出特征集，最后用IIS算法訓(xùn)練特征集的最大熵參數(shù)。 在識別階段中，首先用基N-最短路徑分詞算法進(jìn)行初分詞，接著用viterbi算法對初分詞文本進(jìn)行角色標(biāo)注，最后在角色序列的基礎(chǔ)上進(jìn)行模式最大匹配，從而實現(xiàn)中