分詞技術(shù)在異構(gòu)數(shù)據(jù)統(tǒng)一檢索中的研究及應(yīng)用.pdf

1、隨著信息化的高速發(fā)展，各種數(shù)據(jù)資源迅速累積，數(shù)據(jù)結(jié)構(gòu)也日益復(fù)雜。面對(duì)大量的信息，而且是邏輯結(jié)構(gòu)，存儲(chǔ)結(jié)構(gòu)等差異很大的數(shù)據(jù)信息，如何方便地且快速、準(zhǔn)確地檢索出有效信息，從而獲取重要資源，是信息時(shí)代人們的迫切需求。為解決異構(gòu)數(shù)據(jù)統(tǒng)一檢索問題，本文提出一種異構(gòu)數(shù)據(jù)統(tǒng)一檢索方法并引入分詞技術(shù)，提高信息檢索的查準(zhǔn)率及系統(tǒng)檢索效率。
　　本文介紹了分詞技術(shù)與異構(gòu)數(shù)據(jù)檢索的國內(nèi)外研究現(xiàn)狀，對(duì)分詞技術(shù)和異構(gòu)數(shù)據(jù)檢索的基本理論、常用技術(shù)和方案、典型

2、算法等進(jìn)行了分析和總結(jié)。在此基礎(chǔ)上，設(shè)計(jì)了一種異構(gòu)數(shù)據(jù)統(tǒng)一檢索總體架構(gòu)，并詳細(xì)介紹了框架的層次劃分、各層次模塊的功能、系統(tǒng)的運(yùn)行流程及架構(gòu)的特點(diǎn)。在分析傳統(tǒng)分詞算法及分詞詞典機(jī)制的基礎(chǔ)上，結(jié)合異構(gòu)數(shù)據(jù)統(tǒng)一檢索的特點(diǎn)，設(shè)計(jì)了一種基于改進(jìn)的整詞二分詞典的快速分詞法，并給出算法的具體實(shí)現(xiàn)。經(jīng)實(shí)例驗(yàn)證，該分詞算法分詞準(zhǔn)確，響應(yīng)快速，能很好的適應(yīng)異構(gòu)檢索對(duì)查詢語句的切分、關(guān)鍵詞提取及查詢結(jié)果相似度比對(duì)等操作的要求。本文通過對(duì)檢索結(jié)果處理流程的逐步