基于網(wǎng)絡(luò)的大流量數(shù)據(jù)存儲與管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著Internet的飛速發(fā)展，信息價值不斷攀升，人們對大流量數(shù)據(jù)的存儲與管理也提出了更高的要求。這種需求帶來的一個突出問題就是：如何在對大流量數(shù)據(jù)進行接收、處理的同時，提供有效的存儲和管理手段，包括相應(yīng)的硬件設(shè)備和軟件系統(tǒng)，完成對大流量數(shù)據(jù)的存儲和管理。SQL、ORACLE、SYBASE等數(shù)據(jù)庫作為成熟的商用軟件，在解決商務(wù)、事務(wù)等業(yè)務(wù)類型的問題時已經(jīng)取得了很大的成功，但面對網(wǎng)絡(luò)中大流量、高速數(shù)據(jù)存儲，數(shù)據(jù)檢索等問題各家數(shù)據(jù)庫研究人員

2、都在盡力提高系統(tǒng)管理性能。
　　隨著存儲技術(shù)的迅速發(fā)展，存儲硬件的成本不斷下降，但存儲的管理成本卻不斷上升。因此，一個好的存儲管理解決方案對降低存儲網(wǎng)絡(luò)的總擁有成本具有重要意義。因此在數(shù)據(jù)存儲方面，存儲管理軟件地位不斷上升，存儲產(chǎn)品的很多功能正在用軟件系統(tǒng)的實現(xiàn)代替硬件，因此，如何用更好的技術(shù)實現(xiàn)更高效的存儲管理是擺在我們面前的一個問題。因為到目前為止，還沒有海量數(shù)據(jù)文件系統(tǒng)的商用標準，擺在人們面前的問題是使用怎樣的設(shè)計方法對大流

3、量數(shù)據(jù)進行存儲與管理，以滿足用戶對數(shù)據(jù)檢索的性能要求。
　　本文以windows2000作為操作系統(tǒng)平臺，采用多節(jié)點機的分布式存儲方式，通過研究數(shù)據(jù)庫的文件結(jié)構(gòu)、數(shù)據(jù)的組織方式和數(shù)據(jù)的存取機制，提高單節(jié)點服務(wù)器的數(shù)據(jù)存儲、管理、檢索算法等途徑，開發(fā)一個基于網(wǎng)絡(luò)的大流量數(shù)據(jù)存儲與管理系統(tǒng)。系統(tǒng)采用XML的數(shù)據(jù)格式，基于SOCKET多連接通信的入庫技術(shù)，在對Internet數(shù)據(jù)進行接收、篩選、處理的同時，實現(xiàn)對Internet上的電子