Web信息挖掘服務平臺及數(shù)據(jù)備份技術研究.pdf

1、隨著Internet的快速發(fā)展,互聯(lián)網(wǎng)上的信息越來越豐富,面對爆炸性增長的信息,我們需要采取新的技術手段來管理和挖掘互聯(lián)網(wǎng)信息。一個好的系統(tǒng)平臺是提供優(yōu)良的信息挖掘服務的基礎,為此我們的研究集中在以下幾個方面:
　　(1)Web信息挖掘服務平臺的架構設計;
　　(2)信息挖掘服務的功能點設計;
　　(3)平臺關鍵數(shù)據(jù)的容災功能。
　　基于上述3點,本文所做的工作描述如下:
　　(1)提出了應用于Web信息挖

2、掘服務平臺的架構設計。本文基于J2EE輕量級框架設計的思想,使用軟件工程中的MVC分層模型,對系統(tǒng)的各個模塊進行劃分,實現(xiàn)了以Solr為基礎的高效Web信息挖掘系統(tǒng)。該系統(tǒng)為信息挖掘服務提供了一個良好的運行環(huán)境,在服務穩(wěn)定性、響應速度和吞吐率方面都能很好地滿足實際應用需求。同時,在二次開發(fā)中系統(tǒng)具有很高的可擴展性。
　　(2)針對Web信息挖掘的實際需要,研究了基于元信息判別的網(wǎng)頁自動分類方法,該算法充分利用網(wǎng)頁的元信息,結合傳統(tǒng)

3、的分類算法,快速準確的對網(wǎng)頁進行分類;提出了一種基于元信息加權的相似度計算方法,實現(xiàn)精確的相關網(wǎng)頁推薦服務;采用基于相關詞典的查詢擴展技術,達到向用戶進行信息推送的效果。有關實驗表明,本文提出的方法在實現(xiàn)Web信息挖掘服務方面均達到了實際可用的效果。
　　(3)研究典型的數(shù)據(jù)備份及恢復技術,針對實際需求,為了保證整個系統(tǒng)數(shù)據(jù)的完整性和可用性,本文使用了冗余備份技術來實現(xiàn)數(shù)據(jù)容災,其中,采用基于增量異步復制技術實現(xiàn)全文索引庫備份;采