基于詞典和詞頻分析的論壇語(yǔ)料未登錄詞識(shí)別研究.pdf

1、中文自動(dòng)分詞技術(shù)是中文信息處理的一個(gè)基礎(chǔ)性課題,在中文信息處理中,首先需要對(duì)詞進(jìn)行切分,然后才能進(jìn)行更深層次應(yīng)用研究,隨著信息科技的高速發(fā)展,Internet的中文信息量的飛速增長(zhǎng)對(duì)中文分詞準(zhǔn)確性的要求越來(lái)越高,未登錄詞識(shí)別問(wèn)題一直是制約中文分詞效率的瓶頸,為了有效解決中文分詞中未登錄詞識(shí)別效率低的問(wèn)題,本文提出了一種基于詞典和詞頻分析相結(jié)合的網(wǎng)絡(luò)論壇語(yǔ)料未登錄詞識(shí)別策略,將從以下幾個(gè)方面展開(kāi)。
　　 (1)選取天涯論壇數(shù)據(jù)構(gòu)建

2、動(dòng)態(tài)語(yǔ)料庫(kù),利用網(wǎng)絡(luò)蜘蛛WebLech爬取技術(shù),下載天涯論壇數(shù)據(jù)至本地硬盤(pán),利用基于Java解析器Jsoup對(duì)下載到本地html等網(wǎng)頁(yè)文件進(jìn)行解析,得到干凈的Txt文本文件構(gòu)建語(yǔ)料庫(kù)。將雙字耦合度函數(shù)和T-測(cè)試函數(shù)線性疊加構(gòu)造新的統(tǒng)計(jì)量CT來(lái)識(shí)別語(yǔ)料庫(kù)中的候選未登錄詞。CT算法是未登錄詞識(shí)別原型系統(tǒng)中學(xué)習(xí)訓(xùn)練模塊的重要組成部分,作為判斷候選未登錄詞的依據(jù),將其加入到臨時(shí)詞典中,在臨時(shí)詞典中統(tǒng)計(jì)候選未登錄詞的詞頻,將詞頻大于閾值的候選未登

3、錄詞認(rèn)定為未登錄詞加入到核心詞典,其余作為高頻非詞字串加入停用詞典。
　　 (2)設(shè)計(jì)了分詞詞典結(jié)構(gòu),將分詞詞典設(shè)計(jì)成核心詞典和擴(kuò)展詞典兩級(jí)結(jié)構(gòu):核心詞典作為分詞的依據(jù),采用首字hash存儲(chǔ)支持快速查找,詞典以詞組為單位按詞長(zhǎng)由長(zhǎng)到短順序存儲(chǔ),這樣可以大大減少匹配次數(shù),提高查找效率。擴(kuò)展詞典分為臨時(shí)詞典和停用詞典,臨時(shí)詞典與統(tǒng)計(jì)策略相結(jié)合,作為候選未登錄詞的學(xué)習(xí)訓(xùn)練依據(jù),停用詞典用來(lái)存儲(chǔ)高頻非詞字串,這樣可以減少臨時(shí)詞典的負(fù)擔(dān)。

4、優(yōu)化了分詞匹配算法,設(shè)計(jì)了改進(jìn)的正向匹配算法AMM。實(shí)現(xiàn)了根據(jù)詞組長(zhǎng)度動(dòng)態(tài)設(shè)置最大匹配詞長(zhǎng)。實(shí)驗(yàn)證明,提高了匹配效率,同時(shí)一定程度上解決了多次無(wú)效匹配和長(zhǎng)詞被切分的問(wèn)題。
　　 (3)設(shè)計(jì)實(shí)現(xiàn)了未登錄詞原型系統(tǒng)。在整合前面研究的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了原型系統(tǒng),原型系統(tǒng)包括:語(yǔ)料采集模塊、文檔解析模塊,這兩個(gè)模塊用于構(gòu)建語(yǔ)料庫(kù);系統(tǒng)學(xué)習(xí)訓(xùn)練模塊,此模塊用于向核心詞典輸送新詞;分詞模塊,此模塊用于實(shí)現(xiàn)中文自動(dòng)分詞。同時(shí)對(duì)系統(tǒng)初始化后和學(xué)習(xí)