某銀行元數(shù)據(jù)解析處理系統(tǒng).pdf

1、目前，某銀行已經(jīng)建立了操作數(shù)據(jù)存儲(chǔ)平臺(tái)(ODS)和數(shù)據(jù)中間層，在此期間進(jìn)行了數(shù)據(jù)咨詢(xún)項(xiàng)目和有限的數(shù)據(jù)治理工作，并基于DataStage、Oracle存儲(chǔ)過(guò)程等技術(shù)實(shí)現(xiàn)ETL數(shù)據(jù)加工。在ETL加工過(guò)程中，產(chǎn)生了復(fù)雜的數(shù)據(jù)流向，沉淀了重要表或重要字段的數(shù)據(jù)模型設(shè)計(jì)經(jīng)驗(yàn)。然而復(fù)雜的數(shù)據(jù)流向給該單位帶來(lái)了巨大的人力損失，流向越復(fù)雜，定位問(wèn)題越無(wú)法迅速定位到，當(dāng)系統(tǒng)升級(jí)時(shí)，也無(wú)法迅速分析出系統(tǒng)升級(jí)帶來(lái)的影響。元數(shù)據(jù)解析處理系統(tǒng)針對(duì)用戶(hù)這一問(wèn)題，結(jié)

2、合自身特點(diǎn)，在為完善系統(tǒng)設(shè)計(jì)的規(guī)范性、明確行內(nèi)數(shù)據(jù)流向關(guān)系、提高行內(nèi)數(shù)據(jù)管理水平的目標(biāo)下開(kāi)展。
　　基于某公司元數(shù)據(jù)產(chǎn)品搭建元數(shù)據(jù)管理平臺(tái)，同時(shí)借鑒國(guó)內(nèi)外先進(jìn)銀行最佳實(shí)踐，結(jié)合本行實(shí)際情況，全面實(shí)現(xiàn)本行元數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目的落地實(shí)施，并建立完整高效元數(shù)據(jù)管理體系。根據(jù)銀監(jiān)EAST數(shù)據(jù)報(bào)送實(shí)施經(jīng)驗(yàn)，以新核心系統(tǒng)建設(shè)為契機(jī)和落地實(shí)施驗(yàn)收標(biāo)準(zhǔn)，初步建立數(shù)據(jù)標(biāo)準(zhǔn)。選取小范圍系統(tǒng)（ODS、EAST等）試點(diǎn)，實(shí)現(xiàn)包括DDL、數(shù)據(jù)文件定義等技術(shù)元

3、數(shù)據(jù)的自動(dòng)化解析，并實(shí)現(xiàn)影響分析、支持元數(shù)據(jù)的查詢(xún)。基于解析完成的元數(shù)據(jù)，對(duì)于問(wèn)題影響場(chǎng)景，實(shí)現(xiàn)影響追溯，使業(yè)務(wù)人員能及時(shí)追溯到下游節(jié)點(diǎn)問(wèn)題所在，并通過(guò)定位到上游節(jié)點(diǎn)，迅速解決問(wèn)題。對(duì)于系統(tǒng)升級(jí)場(chǎng)景，實(shí)現(xiàn)變更影響通知，采取發(fā)送郵件主動(dòng)通知方式，主動(dòng)通知系統(tǒng)管理員及系統(tǒng)責(zé)任人。當(dāng)上游數(shù)據(jù)發(fā)生變更，只通知下游系統(tǒng)所有系統(tǒng)管理員，管理員可在不登陸元數(shù)據(jù)分析處理系統(tǒng)的情況下，及時(shí)了解數(shù)據(jù)資產(chǎn)變更信息。元數(shù)據(jù)分析處理系統(tǒng)以構(gòu)建元數(shù)據(jù)影響分析為目標(biāo)

4、，該系統(tǒng)具備Datastage、DDL和Oracle存儲(chǔ)過(guò)程解析功能。元數(shù)據(jù)分析處理系統(tǒng)提供數(shù)據(jù)的整合接口，針對(duì)不同環(huán)境，采用不同數(shù)據(jù)源來(lái)獲取元數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控和及時(shí)更新，真實(shí)反映各系統(tǒng)的元數(shù)據(jù)現(xiàn)狀。元數(shù)據(jù)分析處理系統(tǒng)采取樹(shù)形形式展現(xiàn)元數(shù)據(jù)，體現(xiàn)數(shù)據(jù)庫(kù)、表、字段和ETL、表、字段之間的關(guān)系，通過(guò)元數(shù)據(jù)元素和箭頭的形式體現(xiàn)元數(shù)據(jù)彼此的流向關(guān)系。元數(shù)據(jù)分析處理系統(tǒng)提供元數(shù)據(jù)全文檢索功能。輸入框中輸入查詢(xún)關(guān)鍵字，可迅速檢索元數(shù)據(jù)分析處理系統(tǒng)