分布式WEB信息存儲(chǔ)關(guān)鍵技術(shù)研究.pdf

1、隨著Internet應(yīng)用的普及以及信息的飛速增長(zhǎng)，越來越多的企業(yè)或政府組織開始采用企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)來收集、分析和管理他們所需的Web情報(bào)信息。這就對(duì)企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)中的關(guān)鍵技術(shù)——分布式Web信息存儲(chǔ)提出了巨大挑戰(zhàn)。如何構(gòu)建大規(guī)模、高效率、易于擴(kuò)展、高可靠性的應(yīng)用于企業(yè)競(jìng)爭(zhēng)情報(bào)的存儲(chǔ)系統(tǒng)，是分布式Web信息存儲(chǔ)技術(shù)迫切需要解決的問題。
　　本文從如何提供高可用、高可靠、高效率的分布式Web信息存儲(chǔ)服務(wù)的角度出發(fā)，在對(duì)分布式存儲(chǔ)領(lǐng)域

2、的最新研究成果進(jìn)行了系統(tǒng)學(xué)習(xí)和總結(jié)的基礎(chǔ)上，結(jié)合企業(yè)競(jìng)爭(zhēng)情報(bào)應(yīng)用的背景，圍繞著分布式存儲(chǔ)機(jī)制、節(jié)點(diǎn)內(nèi)Web信息存儲(chǔ)組織結(jié)構(gòu)以及Web信息版本管理這三個(gè)方面進(jìn)行了深入細(xì)致的研究，取得了若干創(chuàng)新和成果。
　　1．本文提出了一種分布式Web信息存儲(chǔ)的加權(quán)輪詢負(fù)載平衡算法，并應(yīng)用該算法建立起分布式Web信息存儲(chǔ)模型。該模型通過負(fù)載平衡算法將各個(gè)Web信息存儲(chǔ)節(jié)點(diǎn)的磁盤空間組織成一個(gè)統(tǒng)一存儲(chǔ)池，利用目錄管理服務(wù)器來對(duì)存儲(chǔ)池進(jìn)行分配和管理。該

3、模型以星形拓?fù)浣Y(jié)構(gòu)來組織節(jié)點(diǎn)，并采用Web信息自適應(yīng)通道傳輸策略，為用戶提供高效、透明的存儲(chǔ)服務(wù)。
　　2．本文針對(duì)Web信息文件小數(shù)量多的特點(diǎn)，提出了一種Web信息存儲(chǔ)文件結(jié)構(gòu)——PAK文件結(jié)構(gòu)。該結(jié)構(gòu)將多個(gè)Web文檔經(jīng)過高效壓縮、分類處理、統(tǒng)計(jì)信息等操作，統(tǒng)一打包，節(jié)省了磁盤空間，又避免了頻繁的磁盤I/O操作，提高了存儲(chǔ)的效率。同時(shí)，采用PAK文件結(jié)構(gòu)，也為用戶各種不同的存取模式提供了良好的接口。
　　3．本文提出了一種