基于LDA和LSA的醫(yī)學(xué)病歷語義檢索方法研究.pdf

1、近些年來，醫(yī)學(xué)病歷數(shù)據(jù)的爆炸式增長給信息檢索技術(shù)帶來了巨大挑戰(zhàn)。在目前使用最多的傳統(tǒng)檢索模型中，往往忽略了文本信息中隱藏的語義結(jié)構(gòu)，而醫(yī)學(xué)病歷數(shù)據(jù)中存在的同義詞、多義詞等不確定因素的存在，使得用戶很難快速并準(zhǔn)確的檢索到相關(guān)信息。本文鑒于醫(yī)學(xué)病歷數(shù)據(jù)存在的特點(diǎn)及其所帶來的問題，主要對LSA(Latent Semantic Analysis)和LDA(Latent Dirichlet Allocation)兩種語義檢索模型進(jìn)行研究。

2、　　LSA和LDA兩種模型有效克服了傳統(tǒng)檢索模型無法處理多義詞和同義詞的問題，對文本的潛在語義進(jìn)行挖掘，根據(jù)詞匯、文本、偽文本三者在語義上的關(guān)聯(lián)產(chǎn)生檢索結(jié)果，達(dá)到優(yōu)化檢索結(jié)果的目的。本文的研究在構(gòu)建的醫(yī)學(xué)領(lǐng)域中的語料庫基礎(chǔ)上主要包括以下幾個方面:
　　1.針對LSA模型中傳統(tǒng)的TF-IDF權(quán)重計算方法仍舊基于線性的處理并且未體現(xiàn)特證詞出現(xiàn)的位置信息對其產(chǎn)生的重要影響問題，提出并實(shí)現(xiàn)了一種基于LSA改進(jìn)模型的醫(yī)學(xué)病歷語義檢索算法。L

3、SA改進(jìn)模型在計算權(quán)重時加入非線性處理及位置權(quán)重因子，通過截斷的奇異值分解建立潛在語義空間，并將詞匯和文本投影在該空間中，進(jìn)而提取詞匯間深層次的語義關(guān)系。同時，本文提出一種基于查準(zhǔn)率的確定最優(yōu)K值的方法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的LSA模型可以有效解決同義詞的問題，提高醫(yī)學(xué)病歷的檢索性能。
　　2.針對傳統(tǒng)的檢索算法不能很好地處理大規(guī)模醫(yī)學(xué)病歷數(shù)據(jù)的問題，本文用LDA模型進(jìn)行主題建模，利用Gibbs抽樣進(jìn)行參數(shù)推理，間接計算模型參數(shù)，獲

4、取文本在主題集上的概率分布。同時，本文提出一種確定最優(yōu)主題數(shù)目T的有效方法。最后，對實(shí)驗(yàn)結(jié)果數(shù)據(jù)進(jìn)行對比分析，驗(yàn)證了將LDA模型用于文本病歷語義檢索方面的可行性。
　　3.針對LSA改進(jìn)模型采用的奇異值分解運(yùn)算時間復(fù)雜度較高并且不太適合處理動態(tài)變化的文本集及LDA模型未考慮特征詞權(quán)重影響的問題，提出并實(shí)現(xiàn)了一種基于組合模型的醫(yī)學(xué)病歷語義檢索算法。實(shí)驗(yàn)結(jié)果表明，該算法在保證召回率的前提下，可以相對提高醫(yī)學(xué)病歷檢索的準(zhǔn)確度，驗(yàn)證了提出