基于語義分析的文檔排序方法研究.pdf

1、隨著社會(huì)的快速發(fā)展，科學(xué)技術(shù)的不斷進(jìn)步，人們所能接觸到的信息也成幾何級(jí)的增長，這些信息的不斷積累就形成了我們熟知的“海量數(shù)據(jù)”。那么如何在海量數(shù)據(jù)中準(zhǔn)確而快速地檢索到用戶需要的信息成為互聯(lián)網(wǎng)信息時(shí)代所面臨的機(jī)遇和挑戰(zhàn)。
　　本文分析了語義相關(guān)度計(jì)算和主題模型的國內(nèi)外研究方法，發(fā)現(xiàn)在現(xiàn)有的研究中大都是簡單的從統(tǒng)計(jì)學(xué)的角度來對(duì)查詢語句和文檔進(jìn)行匹配而忽略了對(duì)文檔語義知識(shí)的挖掘。因此，本文從這個(gè)方面對(duì)每篇文檔的潛在語義進(jìn)行深入挖掘，進(jìn)而

2、從文檔的語義上來和查詢語句進(jìn)行匹配，使得檢索到的結(jié)果更全面、更準(zhǔn)確。
　　在本文中，我們提出一種基于標(biāo)簽主題模型的文檔排序方法。我們運(yùn)用這個(gè)方法我們得到了三個(gè)很重要的矩陣:“文檔—標(biāo)簽”概率分布矩陣、“標(biāo)簽—主題”概率分布矩陣和“主題—詞”概率分布矩陣，獲得了詞對(duì)文檔的語義貢獻(xiàn)度，將詞對(duì)文檔的貢獻(xiàn)度進(jìn)行了量化分析，而不是簡單的按照詞頻和反文檔頻率進(jìn)行打分，并且標(biāo)簽主題模型有嚴(yán)密的數(shù)學(xué)推導(dǎo)證明，能從理論和實(shí)驗(yàn)上證明從標(biāo)簽和主題的角度

3、研究信息檢索技術(shù)的正確性。基于標(biāo)簽主題模型的文檔排序方法充分考慮了文檔的語義信息和詞語歧義性等問題。
　　本文提出了一種基于概念語義分析的文檔排序方法，該方法首先利用標(biāo)簽主題模型對(duì)文檔進(jìn)行建模并經(jīng)過矩陣運(yùn)算得到“文檔-詞”矩陣，并將此矩陣按語義相關(guān)度進(jìn)行映射得到詞對(duì)文檔貢獻(xiàn)度。這個(gè)方法充分利用了查詢語句和文檔標(biāo)簽之間的關(guān)系，把查詢語句和文檔緊密的聯(lián)系起來，一次映射使得與查詢語句越相關(guān)的詞在文檔中的權(quán)重越大，而那些與查詢語句不太相關(guān)