基于形式概念分析的網(wǎng)頁文本匹配研究.pdf

1、隨著互聯(lián)網(wǎng)上信息爆炸式的增長，互聯(lián)網(wǎng)就像是變成了一本沒有目錄的巨大百科全書，讓人們無法找尋自己想要的信息。搜索引擎的出現(xiàn)，為這本百科全書加上了目錄和索引。在2004年，中國互聯(lián)網(wǎng)絡信息中心(CNNIC)在京發(fā)布的第十四次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告顯示：搜索引擎是用戶在互聯(lián)網(wǎng)上獲取信息最主要的方式，通過搜索引擎查找相關的網(wǎng)站：71.9％；直接訪問已知的網(wǎng)站：23.2％；隨意瀏覽網(wǎng)站網(wǎng)頁：2.4％；通過網(wǎng)站的相關鏈接：2.4％；其他：0.

2、1％。搜索引擎的任務幫助用戶在浩如煙海的網(wǎng)上信息中用盡可能少的時間找到自己感興趣的信息。 雖然現(xiàn)在搜索引擎技術已經(jīng)有了很大發(fā)展，以谷歌、百度為代表的第二代搜索引擎已經(jīng)成為了世界上最大的搜索引擎，提供了最便捷的網(wǎng)上信息查詢方法。但是當我們在上網(wǎng)查詢信息的時候還是經(jīng)常會感覺到搜索引擎所返回的結(jié)果并不是盡如人意，其中包含了大量的冗余網(wǎng)頁，這主要是因為目前主流的搜索引擎主要采用用戶查詢詞與網(wǎng)頁中的關鍵詞精確匹配的方式來向用戶返回結(jié)果。因

3、此改進和提高搜索引擎的匹配策略，提高查詢的精確率就成了研究搜索引擎技術的一個熱點問題。 本文采用了形式概念分析的方法，研究網(wǎng)頁文本的匹配，文中提出一個新匹配的策略：使用更加精確和現(xiàn)實的概念以提高過去的基于關鍵詞的匹配策略。通常，在信息檢索系統(tǒng)中“關鍵詞”是網(wǎng)頁表示的基本元素。然而，人們對自然語義中概念的理解一般是有概念的外延和內(nèi)涵定義的。本文使用自然語義的概念相似的形式概念作為網(wǎng)頁表示的基本元素，根據(jù)從每個網(wǎng)頁中提取出來的概念分

4、別為每個網(wǎng)頁建立一個概念格，并使用雙向聯(lián)想記憶存儲器來存儲這個概念格，用這些概念的外延作為形式背景的對象集合，用這些概念的內(nèi)涵作為形式背景的屬性集合，這樣，不僅可以操縱比較小的概念格，而且可以加強信息檢索系統(tǒng)對自然語言文本的理解能力。然后再提取這些形式概念的與查詢的關鍵詞相關的對象與屬性進行匹配操作。網(wǎng)頁的概念格用雙向聯(lián)想記憶存儲器進行編碼，這樣不僅可以避免復雜的建格算法，還可以根據(jù)后續(xù)進程中對文檔的理解靈活的更新網(wǎng)頁的表示形式。本文提

5、出的模型還使用了學習策略，通過接收用戶反饋，對關鍵詞權(quán)重進行修改，使相關文檔間的相似性得以加強，不相關的文檔則減弱。本文最后對提出的新匹配的策略進行了測試實驗，并與布爾匹配模型進行比較，對新的匹配方法進行驗證。實驗的數(shù)據(jù)集包括60個中文網(wǎng)頁和一組查詢詞。從每個網(wǎng)頁中提取出一組概念作為訓練集，來訓練雙向聯(lián)想記憶存儲器存儲網(wǎng)頁的概念格，以進行匹配操作。并且對學習前后的精確率和召回率進行了分析。實驗表明，比起布爾模型，新匹配的策略在精確率和召