粗糙集在漢語語料庫中的應(yīng)用研究.pdf

1、自20世紀(jì)80年代以來，計(jì)算機(jī)語料庫的建設(shè)和應(yīng)用，引起了許多國家信息技術(shù)領(lǐng)域和語言學(xué)界日益濃厚的興趣。語料庫對自然語言處理的不同方面的重要性和蘊(yùn)藏的潛力，得到了國際計(jì)算語言學(xué)會的廣泛認(rèn)可。
　　 語料庫是否得到有效的利用很大程度上取決于對其加工-詞切分及標(biāo)注的質(zhì)量，自動分詞及詞性標(biāo)注成為語料庫研究的重要課題。漢語不同于西文，詞與詞之間沒有明顯的分隔符，語法的復(fù)雜性等，都給漢語語料庫的自動分詞和標(biāo)注帶來困難。二十多年來，國內(nèi)外研究

2、學(xué)者提出了許多方法策略來解決這一問題，誕生了許多高效的自動分詞系統(tǒng)，取得了顯著的成績。但離最終“放之四海而皆準(zhǔn)”這一目標(biāo)尚有一段差距。
　　 以往的研究大多注重分詞和標(biāo)注系統(tǒng)本身算法的改進(jìn)，取得一定成效的同時(shí)也達(dá)到了一個(gè)瓶頸，難再有很大的提高。本文研究常用的中文分詞系統(tǒng)與基于粗糙集的后處理過程相結(jié)合，優(yōu)化語料庫，提高其準(zhǔn)確性。主要內(nèi)容有以下幾方面：
　　 1.簡略地回顧了語料庫、自動分詞和詞性標(biāo)注技術(shù)的發(fā)展。闡述了本課題

3、研究的意義。
　　 2.漢語的語法博大精深，僅僅靠人工處理，工作量相當(dāng)可觀，并且很難較好地歸納其語法規(guī)則。粗糙集理論具有對大量的不完全信息進(jìn)行數(shù)據(jù)挖掘，發(fā)現(xiàn)隱藏規(guī)則的能力。系統(tǒng)設(shè)計(jì)以它為核心部分實(shí)現(xiàn)的基礎(chǔ)，按照粗糙集理論中建立決策表及數(shù)據(jù)約簡的方法，構(gòu)建兼類詞的詞性決策表并進(jìn)行約簡，獲取精簡的規(guī)則。
　　 3.以北京大學(xué)計(jì)算語言學(xué)研究所整理的人民日報(bào)切分、標(biāo)注語料庫為訓(xùn)練語料庫，獲取兼類詞詞性規(guī)則表。語料庫后處理系統(tǒng)對粗