面向海量數(shù)據(jù)管理的分布式倒排索引研究與應(yīng)用.pdf

1、隨著人類數(shù)字化時代的到來，每天都會產(chǎn)生大量的信息數(shù)據(jù)，各種信息檢索系統(tǒng)已經(jīng)成為人們有獲取有效信息的重要手段。當面臨海量數(shù)據(jù)的時候，檢索系統(tǒng)唯有依靠分布式的索引架構(gòu)才能夠快速有效地管理數(shù)據(jù)。可以看出，分布式索引是這個時代信息大爆炸催生的產(chǎn)物，同時也是未來海量數(shù)據(jù)管理中重要的組成部分。
　　 本文首先介紹了索引分布式化的常見手段，然后闡述了當前“倒排索引”在分布式處理中的技術(shù)和現(xiàn)狀。在基礎(chǔ)上，提出了一種基于用戶“查詢”的“混合”分布

2、式倒排索引組織方式，并對該方式中的關(guān)鍵技術(shù)進行了詳細的說明和介紹，同時給出了基于該索引組織方式的“查詢路由”策略，最后還針對用戶“查詢”趨勢的變化，完善了索引結(jié)構(gòu)的動態(tài)調(diào)整算法。
　　 本文介紹國家“核高基”項目中的“海量非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)(UDMS)”的目標及結(jié)構(gòu)，重點說明了其任務(wù)處理流程。然后分析整個系統(tǒng)對索引管理的需求。設(shè)計了基于“UDMS”架構(gòu)的通用分布式索引框架。該框架的設(shè)計具有可靠性、擴擴展性和靈活性。同時在本文中