基于語義分析的文檔排序方法研究.pdf

1、隨著社會的快速發(fā)展，科學技術(shù)的不斷進步，人們所能接觸到的信息也成幾何級的增長，這些信息的不斷積累就形成了我們熟知的“海量數(shù)據(jù)”。那么如何在海量數(shù)據(jù)中準確而快速地檢索到用戶需要的信息成為互聯(lián)網(wǎng)信息時代所面臨的機遇和挑戰(zhàn)。
　　本文分析了語義相關(guān)度計算和主題模型的國內(nèi)外研究方法，發(fā)現(xiàn)在現(xiàn)有的研究中大都是簡單的從統(tǒng)計學的角度來對查詢語句和文檔進行匹配而忽略了對文檔語義知識的挖掘。因此，本文從這個方面對每篇文檔的潛在語義進行深入挖掘，進而

2、從文檔的語義上來和查詢語句進行匹配，使得檢索到的結(jié)果更全面、更準確。
　　在本文中，我們提出一種基于標簽主題模型的文檔排序方法。我們運用這個方法我們得到了三個很重要的矩陣:“文檔—標簽”概率分布矩陣、“標簽—主題”概率分布矩陣和“主題—詞”概率分布矩陣，獲得了詞對文檔的語義貢獻度，將詞對文檔的貢獻度進行了量化分析，而不是簡單的按照詞頻和反文檔頻率進行打分，并且標簽主題模型有嚴密的數(shù)學推導證明，能從理論和實驗上證明從標簽和主題的角度

3、研究信息檢索技術(shù)的正確性。基于標簽主題模型的文檔排序方法充分考慮了文檔的語義信息和詞語歧義性等問題。
　　本文提出了一種基于概念語義分析的文檔排序方法，該方法首先利用標簽主題模型對文檔進行建模并經(jīng)過矩陣運算得到“文檔-詞”矩陣，并將此矩陣按語義相關(guān)度進行映射得到詞對文檔貢獻度。這個方法充分利用了查詢語句和文檔標簽之間的關(guān)系，把查詢語句和文檔緊密的聯(lián)系起來，一次映射使得與查詢語句越相關(guān)的詞在文檔中的權(quán)重越大，而那些與查詢語句不太相關(guān)