基于Hadoop的非結(jié)構(gòu)化數(shù)據(jù)管理在離散制造業(yè)中的研究與實(shí)現(xiàn).pdf

1、近年來(lái)離散制造企業(yè)高度重視信息化的建設(shè)，經(jīng)過(guò)幾年的發(fā)展，已初具成效。在幾年的業(yè)務(wù)發(fā)展中，企業(yè)內(nèi)產(chǎn)生了大量的信息化數(shù)據(jù)，包括辦公文檔、業(yè)務(wù)訂單、數(shù)據(jù)報(bào)表、圖片、音頻、視頻等信息。企業(yè)通常采用的提取有效信息存儲(chǔ)到數(shù)據(jù)庫(kù)，將原文件保存到磁盤(pán)的方式，一定程度解決了企業(yè)數(shù)據(jù)管理的問(wèn)題。但是隨著數(shù)據(jù)量的急劇增長(zhǎng)，對(duì)這些非結(jié)構(gòu)化數(shù)據(jù)合理有效的管理與利用成了企業(yè)面臨的一個(gè)新的大問(wèn)題，也是增強(qiáng)企業(yè)國(guó)際競(jìng)爭(zhēng)力的一個(gè)關(guān)鍵。
　　本文以某離散制造企業(yè)內(nèi)非

2、結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)為背景，結(jié)合當(dāng)前流行的hadoop分布式框架，設(shè)計(jì)實(shí)現(xiàn)了基于hadoop的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)。在研究此離散制造業(yè)非結(jié)構(gòu)化數(shù)據(jù)的過(guò)程中發(fā)現(xiàn)企業(yè)內(nèi)文件大小較小，以及hadoop在存儲(chǔ)小文件需要相關(guān)人員定期手工進(jìn)行小文件合并難的問(wèn)題，通過(guò)分布式數(shù)據(jù)庫(kù)hbase中計(jì)數(shù)器的合理利用，在企業(yè)進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)時(shí)提出了一種基于hbase的小文件自動(dòng)歸檔合并策略；其次，為了克服以往將原文檔直接保存到磁盤(pán)無(wú)法進(jìn)行按內(nèi)容查找的問(wèn)題，本

3、文利用lucene全文檢索引擎技術(shù)工具包，設(shè)計(jì)了一種在hadoop環(huán)境下基于lucene的全文內(nèi)容檢索策略；最后，將此非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)應(yīng)用到某離散制造業(yè)現(xiàn)有的管理系統(tǒng)中，解決企業(yè)在原有系統(tǒng)中大量附件上傳帶來(lái)的文件存儲(chǔ)安全與文件備份、查找等問(wèn)題。
　　在本文設(shè)計(jì)實(shí)現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)中，通過(guò)對(duì)某離散制造企業(yè)多年辦公文檔的存儲(chǔ)管理，可以看到此系統(tǒng)一方面通過(guò)小文件自動(dòng)歸檔合并，解決了hadoop進(jìn)行小文件存儲(chǔ)影響系統(tǒng)性能的問(wèn)題；