中文自動(dòng)分詞若干技術(shù)的研究.pdf

1、近年來(lái)，隨著國(guó)民經(jīng)濟(jì)信息化的不斷發(fā)展以及Internet的普及，中文信息處理技術(shù)的應(yīng)用日益廣泛。由于中文文本是按句連寫(xiě)的，詞間無(wú)間隙，因而中文信息處理的首要問(wèn)題是詞的切分問(wèn)題。中文文本自動(dòng)分詞已成為中文信息處理的一個(gè)前沿課題。 本課題對(duì)中文自動(dòng)分詞方法、歧義字段的計(jì)算機(jī)自動(dòng)識(shí)別、命名實(shí)體的計(jì)算機(jī)自動(dòng)識(shí)別、中文自動(dòng)分詞詞典機(jī)制等技術(shù)進(jìn)行了分析和研究。針對(duì)某些技術(shù)上的不足，提出了改進(jìn)方案。本論文的主要工作有： (1)歧義字段

2、的計(jì)算機(jī)自動(dòng)識(shí)別對(duì)歧義字段產(chǎn)生的原因進(jìn)行了研究，給出了交集型歧義字段和組合型歧義字段的計(jì)算機(jī)自動(dòng)識(shí)別方法。 (2)命名實(shí)體的計(jì)算機(jī)自動(dòng)識(shí)別分析了中文姓名中姓和名的各自特點(diǎn)，給出了中文姓名的自動(dòng)識(shí)別方法；對(duì)中文地名的計(jì)算機(jī)自動(dòng)識(shí)別給出了利用知識(shí)庫(kù)和規(guī)則庫(kù)，采用推理機(jī)制進(jìn)行計(jì)算機(jī)自動(dòng)識(shí)別的方法；對(duì)機(jī)構(gòu)名稱(chēng)的計(jì)算機(jī)自動(dòng)識(shí)別技術(shù)以高校名稱(chēng)為例，從其語(yǔ)法性質(zhì)、語(yǔ)義特性和組織規(guī)律等特征入手，給出了高校名稱(chēng)識(shí)別的基本規(guī)則。 (3)中文