應(yīng)用自然語言處理技術(shù)實(shí)現(xiàn)智能全文信息檢索的研究與實(shí)現(xiàn).pdf

1、全論文檢索就是以文本數(shù)據(jù)為主要處理對象,提供根據(jù)數(shù)據(jù)資料的內(nèi)容而不是外在特征來實(shí)現(xiàn)的信息檢索手段."文海撈針"是對全論文檢索的形象描述.全論文檢索是信息檢索發(fā)展的最前沿和目前的最高階段.這是一個具有重要理論價值和巨大使用價值的研究領(lǐng)域.自然語言處理技術(shù)是人工智能的一個重要分支,它包括漢語自動分詞,詞性自動標(biāo)注,語義自動標(biāo)住,句法分析及篇章理解.它們是實(shí)現(xiàn)語音處理、機(jī)器翻譯、智能全文信息檢索等的基礎(chǔ)工程.該論文首先分析總結(jié)了基于串匹配的全

2、文信息檢索技術(shù),并且比較了各種算法的優(yōu)缺點(diǎn).論文還討論了實(shí)現(xiàn)智能全文信息檢索的漢語自動分詞問題,并給出了實(shí)現(xiàn)自動分詞的最長匹配法、全切分算法、帶修剪的全切分算法.分詞詞典是漢語自動分詞系統(tǒng)的一個基本組成部分.其查詢速度直接影響到分詞系統(tǒng)的處理速度.論文設(shè)計并通過實(shí)驗(yàn)考察了四種典型的分詞詞典機(jī)制:雙向索引,整詞二分,TRIE索引樹及逐字二分,注重比較了它們的時間、空間效率.實(shí)現(xiàn)顯示:基于逐字二分的分詞詞典機(jī)制簡潔、高效,較為實(shí)用.復(fù)雜的漢