信息處理用粵方言文本自動(dòng)分詞標(biāo)準(zhǔn)研究.pdf

1、暨南大學(xué)碩士學(xué)位論文題名（中英對照）：信息處理用粵方言文本自動(dòng)分詞標(biāo)準(zhǔn)研究AstudyonCantonesewdsegmentationspecificationfinfmationprocessing作者姓名：吳南開指導(dǎo)教師姓名及學(xué)位、職稱：侯興泉副教授學(xué)科、專業(yè)名稱：漢語言文字學(xué)學(xué)位類型：學(xué)術(shù)學(xué)位論文提交日期：論文答辯日期：答辯委員會(huì)主席：論文評閱人：學(xué)位授予單位和日期：暨南大學(xué)碩士學(xué)位論文I中文摘要中文摘要粵方言文本分詞在粵方言信

2、息處理相關(guān)應(yīng)用研究中有著重要的意義，解決好粵方言文本分詞問題將推動(dòng)粵方言信息處理由字處理向詞、句處理研究邁進(jìn)。由于分詞的主觀性較大，為使計(jì)算機(jī)自動(dòng)分詞有可重復(fù)的、可操作的標(biāo)準(zhǔn)，參考《信息處理用現(xiàn)代漢語分詞規(guī)范》（GB13715），本研究的目的在于梳理粵方言詞匯，以便研制一套適用于計(jì)算機(jī)自動(dòng)分詞的粵方言文本分詞標(biāo)準(zhǔn)。不同于普通話，粵方言一直存在用字混亂的問題，如異體字、繁簡字等問題，其中異體字眾多是造成粵方言異形詞的主要原因，這給粵方言分

3、詞造成了不利的影響。在前人研究的基礎(chǔ)上，我們收集整理了常見的粵方言異體字，擬定了一個(gè)《粵方言異體字表》。同時(shí)，針對粵方言詞類研究的實(shí)際，參考《北京大學(xué)現(xiàn)代漢語語料庫基本加工規(guī)范》、中科院計(jì)算所漢語詞性標(biāo)記集（version3）以及一些粵方言語料庫的詞性標(biāo)注設(shè)計(jì)，我們擬定了一套粵方言分詞詞性標(biāo)記集，并最終形成了粵方言文本自動(dòng)分詞標(biāo)準(zhǔn)的一套方案。利用現(xiàn)有及自建的粵方言語料庫，我們對這套標(biāo)準(zhǔn)進(jìn)行了試切分驗(yàn)證。最終結(jié)果表明，這套分詞標(biāo)準(zhǔn)總體是切