中文信息處理關(guān)鍵問(wèn)題的研究.pdf

1、語(yǔ)言文字信息的計(jì)算機(jī)自動(dòng)處理水平和處理量已成為衡量一個(gè)國(guó)家是否步入信息社會(huì)的重要標(biāo)準(zhǔn)之一。漢語(yǔ)自身的復(fù)雜性導(dǎo)致我國(guó)中文信息處理(Chinese Information Processing, CIP)水平遠(yuǎn)遠(yuǎn)滯后于21世紀(jì)中國(guó)經(jīng)濟(jì)全球化的步伐,因此,如何實(shí)現(xiàn)中文自然語(yǔ)言的有效理解,已經(jīng)成為備受人們關(guān)注的極具挑戰(zhàn)性的國(guó)際前沿課題。
　　本文針對(duì)目前中文信息處理領(lǐng)域存在的問(wèn)題,重點(diǎn)研究了中文語(yǔ)法層詞法、基本短語(yǔ)分析和中文語(yǔ)義處理及其在

2、信息檢索中的應(yīng)用技術(shù)。本文的創(chuàng)新主要體現(xiàn)在以下幾個(gè)方面:
　　1.在語(yǔ)法層面上,研究了漢語(yǔ)詞法分析和基本短語(yǔ)分析相關(guān)技術(shù)。重點(diǎn)研究了最大熵模型,給出了必要的數(shù)學(xué)推導(dǎo)及IFS、SGC、GIS、IIS算法的偽代碼描述,針對(duì)漢語(yǔ)的特點(diǎn),提出了一個(gè)漢語(yǔ)基本短語(yǔ)分析模型,將漢語(yǔ)短語(yǔ)的邊界劃分和短語(yǔ)標(biāo)識(shí)分開(kāi),假定這兩個(gè)過(guò)程相互獨(dú)立,采用最大熵方法分別建立模型解決。最大熵模型的關(guān)鍵是如何選取有效的特征,文中給出了兩個(gè)步驟相關(guān)的特征空間以及特征選

3、擇過(guò)程和算法。實(shí)驗(yàn)表明,模型的短語(yǔ)定界精確率達(dá)到95.27％,標(biāo)注精確率達(dá)到96.20%。
　　2.在應(yīng)用層面上,研究了將中文信息處理引入信息檢索領(lǐng)域需要解決的關(guān)鍵問(wèn)題。設(shè)計(jì)了一個(gè)基于潛在語(yǔ)義分析(Latent Semantic Analysis, LSA)的常用問(wèn)答(Frequently-Asked Question, FAQ)系統(tǒng),并給出了系統(tǒng)中各個(gè)子模塊的詳細(xì)實(shí)現(xiàn)過(guò)程,其中,在自然語(yǔ)言接口模塊中提出了一種新的語(yǔ)義匹配方法,在