基于Cobol語(yǔ)言的信息管理系統(tǒng)向Hadoop平臺(tái)的遷移和應(yīng)用研究.pdf

1、在發(fā)展歷史超過(guò)三十年的老牌企業(yè)中，較多企業(yè)內(nèi)部使用的管理系統(tǒng)采用COBOL語(yǔ)言實(shí)現(xiàn)。COBOL作為元老級(jí)別的編程語(yǔ)言，已逐步被Java、C++等高級(jí)編程語(yǔ)言所取代。但由于既存的COBOL系統(tǒng)滿足企業(yè)內(nèi)外部管理工作的需求，將基于COBOL的管理系統(tǒng)換為基于Java、C++等高級(jí)編程語(yǔ)言的管理系統(tǒng)成本過(guò)高，部分企業(yè)依然沿用基于COBOL語(yǔ)言的管理系統(tǒng)。隨著信息技術(shù)的發(fā)展，現(xiàn)代企業(yè)在運(yùn)營(yíng)和管理中由于員工調(diào)動(dòng)、產(chǎn)品更新等活動(dòng)使內(nèi)部管理系統(tǒng)需要分

2、析和處理的數(shù)據(jù)規(guī)模成倍增長(zhǎng)，數(shù)據(jù)量達(dá)到GB、TB、PB，甚至EB的規(guī)模。這對(duì)企業(yè)內(nèi)部管理系統(tǒng)中數(shù)據(jù)存儲(chǔ)和處理帶來(lái)了壓力。采用分布式系統(tǒng)進(jìn)行并行計(jì)算是解決海量數(shù)據(jù)存儲(chǔ)和處理效率的有效方式，但由于與分布式語(yǔ)言環(huán)境融合程度較差，COBOL系統(tǒng)無(wú)法直接在Hadoop環(huán)境中使用。以此為背景，COBOL系統(tǒng)向現(xiàn)代高級(jí)編程語(yǔ)言的轉(zhuǎn)換和COBOL系統(tǒng)向Hadoop環(huán)境中遷移等成為研究熱點(diǎn)。
　　本文以F公司實(shí)習(xí)項(xiàng)目為研究對(duì)象，具體闡述基于COBO

3、L語(yǔ)言的信息管理系統(tǒng)向Hadoop平臺(tái)的遷移和應(yīng)用的過(guò)程。本文主要工作包括:1.不同類(lèi)型數(shù)據(jù)Key值指定。原有COBOL系統(tǒng)中數(shù)據(jù)種類(lèi)較多，采用統(tǒng)一Key值制定標(biāo)準(zhǔn)不滿足異構(gòu)數(shù)據(jù)Key值指定的需求。針對(duì)上述問(wèn)題，本文提出了構(gòu)建配置文件的解決方式。2.COBOL中可變長(zhǎng)文件分割后，數(shù)據(jù)重讀取的正確性保證。不定長(zhǎng)文件分割時(shí)可能出現(xiàn)頭文件被切斷的情況，將導(dǎo)致文件無(wú)法正確還原。針對(duì)上述問(wèn)題，本文采用了構(gòu)建情報(bào)文件和將可變長(zhǎng)文件轉(zhuǎn)化為固定長(zhǎng)文件的

4、解決方案。3.小文件的存儲(chǔ)優(yōu)化。COBOL系統(tǒng)中存在海量小文件，小文件讀寫(xiě)需要頻繁的與NameNode節(jié)點(diǎn)進(jìn)行交互，增加了節(jié)點(diǎn)的負(fù)擔(dān)，影響系統(tǒng)的性能。針對(duì)上述問(wèn)題，本文在原有的HDFS架構(gòu)之外增加一個(gè)獨(dú)立的小文件處理模塊(SFM)，單獨(dú)進(jìn)行小文件處理。4.基于負(fù)載均衡的調(diào)度策略制定。不采用負(fù)載均衡調(diào)度策略的集群會(huì)出現(xiàn)部分節(jié)點(diǎn)負(fù)載過(guò)重，部分節(jié)點(diǎn)長(zhǎng)期“饑餓”的情況。針對(duì)上述問(wèn)題，本文通過(guò)實(shí)驗(yàn)和對(duì)比，設(shè)定了合理的延遲等待時(shí)間和節(jié)點(diǎn)負(fù)載分級(jí)策略