面向全文檢索的在線索引關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)信息的日益膨脹，人們能夠獲得的信息越來越多，但要準確、及時的獲取需要的最新信息卻有些困難。在線索引構(gòu)建及管理作為搜索系統(tǒng)的重要組成部分，目的是要針對浩瀚的互聯(lián)網(wǎng)數(shù)據(jù)高效的構(gòu)建索引，做到實時更新索引，從而為檢索用戶提供及時、準確、全面的最新信息。本文主要研究的就是如何在線環(huán)境下構(gòu)建并管理索引，如何平衡索引和檢索之間的性能。
　　本文從全文檢索的倒排索引技術(shù)展開，重點研究基于動態(tài)文檔集的索引構(gòu)建和管理算法及索引和檢索性能的平

2、衡，取得了以下研究成果：
　　(1)本文對基于倒排索引的文件結(jié)構(gòu)以及索引構(gòu)建合并算法進行了研究，針對在線索引的應(yīng)用場景和需求，設(shè)計并實現(xiàn)了一種針對在線索引的高效的倒排索引文件結(jié)構(gòu)，有效的支持了在線索引的構(gòu)建及更新。
　　(2)本文通過研究在線環(huán)境下索引更新的特點，提出了針對文檔刪除的索引管理算法。與傳統(tǒng)的針對刪除的索引管理算法相比，該算法引入了基于門限值進行垃圾文檔刪除的思想，實驗表明，該算法有效的提高了文檔刪除時的索引性能

3、，同時也保證了高效的檢索性能。
　　(3)提出了一種基于動態(tài)類哈夫曼樹的索引構(gòu)建及管理算法。與傳統(tǒng)的索引構(gòu)建及更新算法相比，該算法能夠并行的處理文檔插入和刪除時的情況，并采用了多路合并的方式，可以選擇非相鄰的子索引合并，更為靈活。實驗結(jié)果表明，該算法能夠有效的處理文檔增加和刪除時的索引更新，并且能夠平衡索引和檢索性能。
　　基于上述研究成果，本文設(shè)計了針對動態(tài)文檔集的全文檢索系統(tǒng)，包括解析模塊、索引模塊、檢索模塊、存儲模塊等