基于LDA模型的文檔排序方法研究.pdf

1、21世紀(jì)以來，互聯(lián)網(wǎng)技術(shù)日新月異，蓬勃發(fā)展，網(wǎng)絡(luò)信息豐富多彩，人們在互聯(lián)網(wǎng)上準(zhǔn)確的查找所需信息顯得越來越重要，檢索系統(tǒng)需要快速準(zhǔn)確的將相關(guān)度最高的文檔返回到結(jié)果列表前列，但是目前的文本排序方法更多的是通過詞頻、逆文檔頻率等指標(biāo)從詞的角度進(jìn)行相關(guān)度排序，這樣就忽略了文檔的內(nèi)在結(jié)構(gòu)和潛在信息。潛在的狄利克雷分布模型是一種完全生成式的主題模型，利用該模型對文檔集進(jìn)行建模能降低文檔維度，從主題的角度挖掘文檔信息。
　　本文首先分析了近年來

2、通用的信息檢索模型，比較各個(gè)模型計(jì)算查詢詞和文檔的相關(guān)度的方法，并著重研究了概率主題模型的數(shù)學(xué)思想，通過對其參數(shù)設(shè)置的分析，比較各個(gè)主題模型的應(yīng)用區(qū)別，同時(shí)分析了當(dāng)前中文信息處理領(lǐng)域經(jīng)典的語義相關(guān)度計(jì)算方法。
　　本文提出了一種基于LDA模型的文檔排序方法，該方法利用“文檔—主題”概率分布矩陣和“主題—詞項(xiàng)”概率分布矩陣獲取詞項(xiàng)對文檔的表征能力，從主題角度研究信息檢索技術(shù)，解決了影響文本檢索效果的數(shù)據(jù)稀疏和詞語歧義性等問題，有效提

3、高文本檢索的準(zhǔn)確性。
　　本文提出了一種基于雙重?cái)U(kuò)展的文檔排序方法，該方法首先將查詢詞在語義指紋庫中映射得到擴(kuò)展詞，再利用LDA模型對查詢詞和擴(kuò)展詞的網(wǎng)絡(luò)百科信息進(jìn)行建模得到主題下的相關(guān)詞集合，最后對查詢詞和擴(kuò)展詞的相關(guān)詞集合進(jìn)行線性加權(quán)計(jì)算得到語義相關(guān)度。該方法解決了對單一關(guān)鍵詞擴(kuò)展容易出現(xiàn)的信息不足問題。最后將擴(kuò)展詞群的語義相關(guān)度作為查詢權(quán)重，應(yīng)用于擴(kuò)展檢索實(shí)驗(yàn)中，驗(yàn)證方法的有效性。
　　通過在NTCIR5語料上進(jìn)行實(shí)驗(yàn)