基于Cobol語言的信息管理系統(tǒng)向Hadoop平臺的遷移和應(yīng)用研究.pdf

1、在發(fā)展歷史超過三十年的老牌企業(yè)中，較多企業(yè)內(nèi)部使用的管理系統(tǒng)采用COBOL語言實現(xiàn)。COBOL作為元老級別的編程語言，已逐步被Java、C++等高級編程語言所取代。但由于既存的COBOL系統(tǒng)滿足企業(yè)內(nèi)外部管理工作的需求，將基于COBOL的管理系統(tǒng)換為基于Java、C++等高級編程語言的管理系統(tǒng)成本過高，部分企業(yè)依然沿用基于COBOL語言的管理系統(tǒng)。隨著信息技術(shù)的發(fā)展，現(xiàn)代企業(yè)在運營和管理中由于員工調(diào)動、產(chǎn)品更新等活動使內(nèi)部管理系統(tǒng)需要分

2、析和處理的數(shù)據(jù)規(guī)模成倍增長，數(shù)據(jù)量達(dá)到GB、TB、PB，甚至EB的規(guī)模。這對企業(yè)內(nèi)部管理系統(tǒng)中數(shù)據(jù)存儲和處理帶來了壓力。采用分布式系統(tǒng)進(jìn)行并行計算是解決海量數(shù)據(jù)存儲和處理效率的有效方式，但由于與分布式語言環(huán)境融合程度較差，COBOL系統(tǒng)無法直接在Hadoop環(huán)境中使用。以此為背景，COBOL系統(tǒng)向現(xiàn)代高級編程語言的轉(zhuǎn)換和COBOL系統(tǒng)向Hadoop環(huán)境中遷移等成為研究熱點。
　　本文以F公司實習(xí)項目為研究對象，具體闡述基于COBO

3、L語言的信息管理系統(tǒng)向Hadoop平臺的遷移和應(yīng)用的過程。本文主要工作包括:1.不同類型數(shù)據(jù)Key值指定。原有COBOL系統(tǒng)中數(shù)據(jù)種類較多，采用統(tǒng)一Key值制定標(biāo)準(zhǔn)不滿足異構(gòu)數(shù)據(jù)Key值指定的需求。針對上述問題，本文提出了構(gòu)建配置文件的解決方式。2.COBOL中可變長文件分割后，數(shù)據(jù)重讀取的正確性保證。不定長文件分割時可能出現(xiàn)頭文件被切斷的情況，將導(dǎo)致文件無法正確還原。針對上述問題，本文采用了構(gòu)建情報文件和將可變長文件轉(zhuǎn)化為固定長文件的

4、解決方案。3.小文件的存儲優(yōu)化。COBOL系統(tǒng)中存在海量小文件，小文件讀寫需要頻繁的與NameNode節(jié)點進(jìn)行交互，增加了節(jié)點的負(fù)擔(dān)，影響系統(tǒng)的性能。針對上述問題，本文在原有的HDFS架構(gòu)之外增加一個獨立的小文件處理模塊(SFM)，單獨進(jìn)行小文件處理。4.基于負(fù)載均衡的調(diào)度策略制定。不采用負(fù)載均衡調(diào)度策略的集群會出現(xiàn)部分節(jié)點負(fù)載過重，部分節(jié)點長期“饑餓”的情況。針對上述問題，本文通過實驗和對比，設(shè)定了合理的延遲等待時間和節(jié)點負(fù)載分級策略