基于語料庫的數(shù)量名短語識別.pdf

1、數(shù)量名結(jié)構(gòu)在現(xiàn)代漢語中是一種常見的短語結(jié)構(gòu)，傳統(tǒng)語言學(xué)領(lǐng)域?qū)α吭~及數(shù)量短語進(jìn)行過比較充分的研究，但調(diào)查規(guī)模比較小，并且側(cè)重于語法意義的研究。漢語教學(xué)、漢語研究、漢語信息處理都需要更大規(guī)模地調(diào)查研究數(shù)量名短語的形式特征。對數(shù)量名短語的計(jì)算機(jī)自動(dòng)識別還沒有見到過成果報(bào)道，但這是進(jìn)行大規(guī)模調(diào)查的前提條件。數(shù)量名短語的自動(dòng)識別和形式特征調(diào)查對用統(tǒng)計(jì)方法處理漢語將起到很重要的作用。 本文的研究主要包括兩部分。一部分是對順序的“數(shù)·量·名”

2、、量詞重疊的數(shù)量名結(jié)構(gòu)等常見的數(shù)量名短語形式自動(dòng)識別方法的研究；一部分是在大規(guī)模的語料中對這些數(shù)量名短語形式的特征(包括句法功能特征、線性特征及線性鄰接特征)進(jìn)行調(diào)查研究。第一部分采用統(tǒng)計(jì)與規(guī)則結(jié)合的辦法：計(jì)算機(jī)軟件在基本保證查全率的條件下進(jìn)行盡量準(zhǔn)確的自動(dòng)檢索，人在此基礎(chǔ)上進(jìn)行篩選，其后進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的提取和規(guī)則總結(jié)。第二部分利用第一部分的研究成果，直接識別出數(shù)量名短語并通過檢索模塊發(fā)現(xiàn)分布特征。 我們在240萬字的當(dāng)代新聞小說

3、語料上進(jìn)行自動(dòng)識別的試驗(yàn)和測試。由于搭配詞典數(shù)目有限，我們采用了基于n個(gè)后字匹配的后退算法來發(fā)現(xiàn)更多的量名搭配。從準(zhǔn)確率看，盡管引入了搭配概率和邊界概率等統(tǒng)計(jì)數(shù)據(jù)，還是難以徹底解決多個(gè)名詞的搭配沖突；相比而言，句法規(guī)則在提高精確率方面有較好表現(xiàn)。其他數(shù)量名短語的自動(dòng)識別可以達(dá)到接近實(shí)用的準(zhǔn)確水平。 對于數(shù)量名短語形式的句法功能特征、線性特征及線性鄰接特征進(jìn)行的調(diào)查研究，也建立在200多萬字規(guī)模的新聞?wù)Z料文本的基礎(chǔ)上，這在以前的傳