數(shù)據(jù)歸檔與信息檢索系統(tǒng)的研究與實現(xiàn).pdf

1、隨著企業(yè)信息化建設(shè)的推廣，企業(yè)信息化系統(tǒng)產(chǎn)生海量的歷史數(shù)據(jù)。海量數(shù)據(jù)造成的存儲容量不夠、信息檢索效率低下、潛在價值難以挖掘等問題成為制約企業(yè)信息化發(fā)展的瓶頸。因此，研發(fā)一套數(shù)據(jù)歸檔與信息檢索系統(tǒng)來存儲和管理企業(yè)歷史數(shù)據(jù)顯得尤為重要。
　　 本文在對數(shù)據(jù)歸檔與信息檢索系統(tǒng)進行需求分析的基礎(chǔ)上，提出跨應(yīng)用程序的歸檔數(shù)據(jù)存儲與分類檢索方案，采用LUCENE全文檢索技術(shù)解決歷史數(shù)據(jù)的分類檢索問題，應(yīng)用XML技術(shù)解決應(yīng)用程序間的數(shù)據(jù)交換問

2、題，以J2EE平臺的多層架構(gòu)體系為基礎(chǔ)，將系統(tǒng)分為數(shù)據(jù)歸檔、系統(tǒng)管理、用戶管理、重構(gòu)管理及信息檢索等五個功能模塊，完成了數(shù)據(jù)歸檔與信息檢索系統(tǒng)的總體設(shè)計。
　　 論文在系統(tǒng)研發(fā)過程中所應(yīng)用的技術(shù)主要包括信息檢索技術(shù)與XML技術(shù)。信息檢索技術(shù)主要介紹了索引維護與管理策略、檢索查詢策略與結(jié)果排序策略，詳細分析了三種中文分詞策略(基于詞典、詞頻統(tǒng)計、言語意義的中文分詞策略)和文檔倒排機制。XML技術(shù)則主要分析比較了兩種模型映射策略：邊

3、模型映射策略和結(jié)構(gòu)模型映射策略，并總結(jié)它們在不同應(yīng)用場景下的優(yōu)劣特性。
　　 首先本文采用既符合節(jié)點模型映射策略，又符合邊模型映射策略的XParent模型對結(jié)構(gòu)化數(shù)據(jù)進行模式轉(zhuǎn)換，提高數(shù)據(jù)的通信能力。對于非結(jié)構(gòu)化數(shù)據(jù)則使用文檔解析技術(shù)先將異構(gòu)化的pdf、word、html等格式的數(shù)據(jù)進行解析，解析完成后參照結(jié)構(gòu)化數(shù)據(jù)進行模式轉(zhuǎn)換。其次針對LUCENE中文分詞上的不足，選用中科院的ICTCLAS分詞系統(tǒng)代替LUCENE自帶的中文分