面向句法分析的樣本選擇.pdf

1、句法分析是自然語(yǔ)言處理的一個(gè)基本問(wèn)題，也是目前急待解決的一個(gè)問(wèn)題。大多數(shù)現(xiàn)有的句法分析是基于統(tǒng)計(jì)方法的，基于統(tǒng)計(jì)的句法分析模型需要大規(guī)模的訓(xùn)練樣本，而標(biāo)注一個(gè)大規(guī)模樣本集需要很大的人力。為了減少標(biāo)注語(yǔ)料庫(kù)所需的人力并保證標(biāo)注的語(yǔ)料庫(kù)能使句法分析器有較高的精確率和召回率，本文對(duì)面向句法分析的樣本選擇方法進(jìn)行了研究。
　　目前國(guó)內(nèi)外面向句法分析的樣本選擇大多采用主動(dòng)學(xué)習(xí)的方法，這種方法的思想是讓句法分析器自己決定什么樣的句子應(yīng)該作為它

2、的訓(xùn)練樣本，但是這種方法同句法分析模型密切相關(guān)，選出來(lái)的句子有可能會(huì)受到模型的影響。為了避免這不足，本文提出了一種獨(dú)立于模型的樣本選擇方法，該方法從句子結(jié)構(gòu)上計(jì)算句子間的距離，然后用K-means方法對(duì)句子進(jìn)行聚類，根據(jù)每類的大小從類中選擇出一定的句子組成一個(gè)子集。因?yàn)檫@個(gè)子集包含的句法規(guī)則分布能近似于原句子集的句法規(guī)則分布，所以這個(gè)子集標(biāo)注后訓(xùn)練的句法分析器的精確率和召回率近似于用原句子集標(biāo)注后訓(xùn)練的句法分析器的精確率和召回率，而標(biāo)注

3、子集所需的人力比標(biāo)注原句子集所需的人力小。
　　為了檢驗(yàn)獨(dú)立于模型的樣本選擇方法是否有效，本文利用KL-distance計(jì)算了通過(guò)該方法選擇出的子集同原句子集在句法規(guī)則上的相似程度，并用隨機(jī)選擇的句子集作對(duì)比，發(fā)現(xiàn)通過(guò)該方法選擇出的子集的句法規(guī)則分布同原句子集的句法規(guī)則分布很相似。然后本文將選擇出的子集標(biāo)注后作為PCFG模型的句法分析器的訓(xùn)練集，實(shí)驗(yàn)結(jié)果證明，選擇出50％的句子，用其訓(xùn)練的句法分析器就能有近似于用原句子集訓(xùn)練的句法