基于概念的中文文本檢索研究.pdf

1、中文文本檢索是信息檢索的重要組成部分，目前幾乎所有搜索引擎都是采用關(guān)鍵詞的檢索方法，其核心是關(guān)鍵字符的機(jī)械式匹配，存在的問題之一就是召回率低，導(dǎo)致檢索系統(tǒng)的整體性能低。概念檢索通過基于語義的自然語言處理來析取各種概念信息，并由此形成一個(gè)知識(shí)庫，然后，根據(jù)對(duì)用戶提問的理解來檢索知識(shí)庫中相關(guān)的信息以提供直接的回答，有效地彌補(bǔ)了關(guān)鍵詞檢索存在的缺陷。 本文就中文文本檢索中文本的重構(gòu)、查詢的擴(kuò)展進(jìn)行了研究。主要研究工作如下： 1

2、．提出了基于文本關(guān)鍵詞同義合并的詞條權(quán)重計(jì)算方法，構(gòu)建了基于概念語義同義擴(kuò)展的文本檢索模型。TF-DF是現(xiàn)有典型的文本詞條權(quán)重計(jì)算方法，其存在的主要問題有：1)沒有考慮語義同義關(guān)系；2)文本詞條沒有固定權(quán)重：3)支撐主題的核心詞易被賦予較低權(quán)重?；谖谋娟P(guān)鍵詞同義合并的詞條權(quán)重計(jì)算方法，有效解決了上述三個(gè)問題，并借助該方法，構(gòu)建了基于概念語義同義擴(kuò)展的檢索模型。實(shí)驗(yàn)表明，該模型較關(guān)鍵詞檢索模型在精確率小幅度下滑的同時(shí)，召回率得到較大提高

3、，綜合性能得到了改善。 2．構(gòu)建了基于概念語義同義擴(kuò)展檢索模型與關(guān)鍵詞檢索模型結(jié)合的檢索模型。精確率和召回率是檢索系統(tǒng)性能評(píng)價(jià)的兩個(gè)重要指標(biāo)，針對(duì)基于概念語義同義擴(kuò)展的文本檢索模型較關(guān)鍵詞檢索模型精確率低的現(xiàn)象，采取了相應(yīng)的補(bǔ)救措施：將其與關(guān)鍵詞模型結(jié)合檢索，旨在通過調(diào)整兩者不同的結(jié)合參數(shù)，找到一個(gè)更優(yōu)的模型。理論分析與實(shí)驗(yàn)表明，該結(jié)合模型中的比例參數(shù)調(diào)整適當(dāng)，能平衡檢索系統(tǒng)的準(zhǔn)確率與召回率，獲得更好的檢索效果。 3．提