版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、現(xiàn)如今,隨著計(jì)算機(jī)技術(shù)的發(fā)展,眾多高科技企業(yè)運(yùn)用Hadoop對(duì)海量數(shù)據(jù)進(jìn)行處理并獲得了很好的效果。但是人們逐漸發(fā)現(xiàn)Hadoop存在一些缺陷,如:Hadoop在處理海量小數(shù)據(jù)文件時(shí)會(huì)出現(xiàn)名稱節(jié)點(diǎn)(NameNode)內(nèi)存占用率高、訪問(wèn)性能低下等問(wèn)題;Hadoop在處理 XML這樣的結(jié)構(gòu)化文件時(shí),目前的版本是很難對(duì)其進(jìn)行處理和分析的。因此,如何運(yùn)用Hadoop對(duì)海量小數(shù)據(jù)XML文件進(jìn)行處理問(wèn)題便成為該技術(shù)領(lǐng)域的重要研究課題。
為了解
2、決Hadoop在處理海量小數(shù)據(jù)XML文件時(shí)無(wú)法解析、耗費(fèi)內(nèi)存資源和檢索效率低的問(wèn)題,本文重點(diǎn)研究了如下內(nèi)容:1)設(shè)計(jì)了專門(mén)針對(duì)海量小數(shù)據(jù)XML文件進(jìn)行處理的分布式海量小型XML數(shù)據(jù)處理系統(tǒng)(Distributed Massive Small XML files system,DMSX),該系統(tǒng)的主要思想就是將海量小數(shù)據(jù) XML文件在Hadoop系統(tǒng)中高效的進(jìn)行處理。2)該系統(tǒng)通過(guò)運(yùn)用生產(chǎn)者-消費(fèi)模式,多線程并發(fā)技術(shù),多級(jí)緩存技術(shù)等,來(lái)提
3、高系統(tǒng)的整體處理能力。3)該系統(tǒng)通過(guò)對(duì)合并后的文件進(jìn)行分段存儲(chǔ),在不影響工作模塊的同時(shí),高效利用網(wǎng)絡(luò)資源,與數(shù)據(jù)處理模塊并發(fā)進(jìn)行,從而使系統(tǒng)在處理海量小數(shù)據(jù)XML時(shí)的效率得到提高。
本文對(duì)該系統(tǒng)的各個(gè)功能模塊進(jìn)行了詳細(xì)的闡述,并對(duì)系統(tǒng)的高效性進(jìn)行了實(shí)驗(yàn)分析。后期通過(guò)實(shí)際部署、多次測(cè)試、平均求值的測(cè)試方法,驗(yàn)證了本系統(tǒng)的性能。證明了文中所提出的方法可以有效的提高系統(tǒng)資源利用率和系統(tǒng)響應(yīng)速度,一定程度上解決了目前Hadoop在處理
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Hadoop的海量小型XML數(shù)據(jù)挖掘的研究.pdf
- 基于Hadoop的海量小文件處理技術(shù)研究.pdf
- 基于Hadoop的海量數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究.pdf
- 基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用.pdf
- Hadoop海量小文件處理技術(shù)的應(yīng)用研究.pdf
- 基于Hadoop的海量氣象數(shù)據(jù)的存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop的海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- Hadoop小文件處理技術(shù)的研究和實(shí)現(xiàn).pdf
- Hadoop中海量日志文件的處理分析.pdf
- 基于導(dǎo)航原始數(shù)據(jù)文件解析技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)
- hadoop小文件處理技術(shù)的研究和實(shí)現(xiàn)
- 基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop和Solr的海量數(shù)據(jù)處理研究與應(yīng)用.pdf
- 基于Hadoop海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究.pdf
- Hadoop中海量小文件存取關(guān)鍵技術(shù)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于HADOOP的海量錄音文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Hadoop集群的海量數(shù)據(jù)計(jì)算和存儲(chǔ)技術(shù)研究.pdf
- 基于Hadoop的海量Web數(shù)據(jù)存儲(chǔ)和推薦技術(shù)研究.pdf
評(píng)論
0/150
提交評(píng)論