面向?qū)＠墨I(xiàn)的中文分詞技術(shù)的研究.pdf

1、專利文獻(xiàn)是記載和傳遞各類科技成果的信息載體，是世界上最大的技術(shù)信息源。如何充分地利用如此巨大的信息資源，使專利在科研和專利業(yè)務(wù)的諸多方面發(fā)揮重要作用，針對該問題，專利信息處理系統(tǒng)應(yīng)運(yùn)而生。在中文專利信息處理系統(tǒng)中，專利分詞是一個(gè)重要的基礎(chǔ)環(huán)節(jié)，專利檢索及專利翻譯等應(yīng)用都需以專利自動(dòng)分詞作為基礎(chǔ)。
　　目前國內(nèi)漢語自動(dòng)分詞的研究主要集中在新聞?wù)Z料上，比較成熟且實(shí)用的分詞系統(tǒng)針對新聞?wù)Z料的分詞效果很好，然而對專利語料的分詞效果卻不是很

2、理想。本文針對專利文獻(xiàn)自動(dòng)分詞的困難及專利文獻(xiàn)的特點(diǎn)，提出了一種基于統(tǒng)計(jì)和規(guī)則相結(jié)合的分詞方法。該方法充分利用了從大規(guī)模語料中獲取的全局信息和切分文本的上下文信息，有效地解決了專利分詞中未登錄詞難以識(shí)別問題。實(shí)驗(yàn)結(jié)果表明，該方法在開放測試下取得了較好的結(jié)果，對未登錄詞的識(shí)別也有很好的效果。
　　針對監(jiān)督學(xué)習(xí)方法需要大規(guī)模同源訓(xùn)練語料，及通過調(diào)節(jié)窗口大小獲取詞的上下文信息的不足，本文將大規(guī)模語料中的高頻穩(wěn)定的詞和切分文本的上下文信息