基于交叉詞項(xiàng)的中文信息檢索方法研究.pdf

1、近十年來，伴隨著萬維網(wǎng)的繁榮發(fā)展，信息數(shù)據(jù)以爆炸式的增長，如何有效和高效的從如此龐大的信息中獲取所需，正是信息檢索方法研究中亙久不變的重要主題，旨在更好的解決用戶日益激增的信息需求。
　　在大部分傳統(tǒng)的中文信息檢索模型中，通常假定每個查詢詞項(xiàng)都是彼此獨(dú)立的。雖然將這些檢索模型應(yīng)用到信息檢索中也獲取了不錯的效果，但是對應(yīng)的也存在詞項(xiàng)獨(dú)立性假設(shè)的局限性，同時理論上詞項(xiàng)關(guān)聯(lián)性在概率檢索框架下仍然大有可為。通過將查詢詞項(xiàng)之間的關(guān)聯(lián)性納入考

2、慮，我們可能可以進(jìn)一步提高檢索性能。因此，本文就基于交叉詞項(xiàng)的中文信息檢索方法進(jìn)行了相關(guān)研究。主要工作包括以下兩個方面:
　　第一，將交叉詞項(xiàng)模型引入到中文信息檢索中對詞項(xiàng)近鄰性進(jìn)行建模，提高概率檢索模型的性能。通過交叉詞項(xiàng)，多個查詢詞項(xiàng)之間的關(guān)聯(lián)性可以用同樣的方式以簡單的一元偽詞項(xiàng)來表示，當(dāng)相應(yīng)的查詢詞項(xiàng)彼此很接近時就會產(chǎn)生二元交叉詞項(xiàng)，我們采用核函數(shù)對其影響建模。本文中，首先對中文語料集進(jìn)行預(yù)處理，通過包括一元分詞，CJK中文

3、分析器（二元分詞），JCSEG中文分詞器等多種途徑，然后對其建立中文索引，最后對查詢詞項(xiàng)在文檔中的位置信息進(jìn)行建模，由于我們只考慮二元交叉詞項(xiàng)的情況，故在建模時以兩兩成對的查詢詞項(xiàng)來進(jìn)行標(biāo)識，該方法不僅利用了查詢詞項(xiàng)之間的位置近鄰性，還結(jié)合了概率模型的優(yōu)勢，進(jìn)一步提高概率檢索模型的性能。我們在中文語料集NTCIR5和6上均進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于交叉詞項(xiàng)模型的中文信息檢索建模方法相對于傳統(tǒng)的檢索方法來說擁有更好的檢索性能。

4、r>　　第二，通過在偽相關(guān)反饋方法中融合查詢詞項(xiàng)之間關(guān)聯(lián)性信息，可以由此對原始查詢進(jìn)行進(jìn)一步的擴(kuò)展。本文中通過在相關(guān)性模型基礎(chǔ)上，引入交叉詞項(xiàng)模型，充分考慮到了查詢詞項(xiàng)在反饋文檔中的關(guān)聯(lián)性，在新的反饋文檔中通過交叉詞項(xiàng)將查詢詞項(xiàng)兩兩關(guān)聯(lián)起來，提高了彼此更為接近的查詢詞項(xiàng)的權(quán)重，進(jìn)而獲得了關(guān)聯(lián)性更強(qiáng)，同時在交叉詞項(xiàng)模型下與主題更相關(guān)的擴(kuò)展詞項(xiàng)。我們使用了兩種偽相關(guān)反饋估計方法，包括獨(dú)立同分布抽樣方法和條件抽樣方法。在語料集NTCIR5中，