數(shù)據(jù)治理專題交流

1、數(shù)據(jù)治理專題交流,熊琳成都 2014年6月20日,Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,數(shù)據(jù)管控體系框架,,,,,,,,,,,,,,,,,,,,,戰(zhàn)略,規(guī)劃,機制,領(lǐng)域,實現(xiàn),組織架構(gòu),工作流程,管理制度,數(shù)據(jù)標準,數(shù)據(jù)質(zhì)量,數(shù)據(jù)架構(gòu),元數(shù)據(jù),數(shù)據(jù)安全,系統(tǒng)：源系統(tǒng)/數(shù)據(jù)基礎平臺/應用集市,工具：數(shù)據(jù)標準/數(shù)據(jù)質(zhì)量/元數(shù)據(jù) 管理系統(tǒng),企業(yè)戰(zhàn)略決定了企業(yè)架構(gòu)，企業(yè)架構(gòu)是從全局的角度審視與信息化相關(guān)

2、的業(yè)務、數(shù)據(jù)、技術(shù)和應用間的相互作用關(guān)系。企業(yè)架構(gòu)有業(yè)務架構(gòu)、數(shù)據(jù)架構(gòu)、應用架構(gòu)和技術(shù)架構(gòu)共同組成。,為實現(xiàn)全行數(shù)據(jù)管控配套的組織架構(gòu)，崗位職責和人員技能要求與組織架構(gòu)配套的工作流程，包括管理辦法、工作模板。管理制度是為有效做到數(shù)據(jù)管控配套的績效考核方法。,數(shù)據(jù)標準需要在源系統(tǒng)、數(shù)據(jù)基礎平臺、應用集市落地。數(shù)據(jù)質(zhì)量管理是貫穿源系統(tǒng)、數(shù)據(jù)基礎平臺和應用集市的。數(shù)據(jù)基礎平臺可以作為基礎數(shù)據(jù)質(zhì)量核檢的集中地。元數(shù)據(jù)管理系統(tǒng)保存所有

3、系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)標準管理系統(tǒng)除發(fā)布標準外，還保存標準和系統(tǒng)的映射。數(shù)據(jù)質(zhì)量管理平臺部署數(shù)據(jù)核檢規(guī)則和展示質(zhì)量平衡記分卡。,數(shù)據(jù)管控領(lǐng)域分類方法很多，標準、質(zhì)量是公認需要重點關(guān)注的。數(shù)據(jù)架構(gòu)、元數(shù)據(jù)、數(shù)據(jù)安全都是偏技術(shù)方面的管理。數(shù)據(jù)標準是偏業(yè)務方面，數(shù)據(jù)質(zhì)量是介于業(yè)務和科技之間的。,架構(gòu)規(guī)劃遞進關(guān)系,企業(yè)戰(zhàn)略,業(yè)務架構(gòu),數(shù)據(jù)架構(gòu),應用架構(gòu),技術(shù)架構(gòu),實時數(shù)據(jù)交換批量數(shù)據(jù)交換主數(shù)據(jù)上游業(yè)務系統(tǒng)/數(shù)據(jù)基礎平臺/下游應用系統(tǒng)

4、,應用需求功能/流程信息角色/場景,渠道交互類客戶營銷類產(chǎn)品服務類管理決策類風險合規(guī)類基礎支持類,硬件平臺軟件：操作系統(tǒng)/中間件/數(shù)據(jù)庫…網(wǎng)絡軟硬件相關(guān)監(jiān)控系統(tǒng),企業(yè)IT架構(gòu)是指導IT投資和設計決策的框架，是建立企業(yè)信息系統(tǒng)的綜合藍圖，對企業(yè)不同的信息視圖進行架構(gòu)描述的綜合。,企業(yè)架構(gòu)是一個多視圖的體系結(jié)構(gòu)，它是從戰(zhàn)略目標出發(fā)，從企業(yè)全局的角度審視與信息化相關(guān)的業(yè)務、數(shù)據(jù)、技術(shù)和應用間的相互作用關(guān)系以及這種關(guān)系對企

5、業(yè)業(yè)務流程和功能的影響。,數(shù)據(jù)管控機制,,管理制度,組織機構(gòu)崗位職能人員技能,管理辦法工作模板,數(shù)據(jù)管控領(lǐng)域,管控,數(shù)據(jù)質(zhì)量是指數(shù)據(jù)滿足業(yè)務運營、管理與決策的程度。數(shù)據(jù)質(zhì)量包括完整性、唯一性、有效性、一致性、準確性和及時性。數(shù)據(jù)質(zhì)量管理范圍包括數(shù)據(jù)質(zhì)量問題管理、數(shù)據(jù)質(zhì)量規(guī)則管理以及數(shù)據(jù)質(zhì)量管理系統(tǒng)的建設與維護。,元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)，是數(shù)據(jù)的業(yè)務涵義、技術(shù)涵義和加工處理過程的定義，是數(shù)據(jù)管控的基本手段。元數(shù)據(jù)管理是指開發(fā)環(huán)境元數(shù)

6、據(jù)管理、測試環(huán)境元數(shù)據(jù)管理、生產(chǎn)環(huán)境元數(shù)據(jù)管理以及元數(shù)據(jù)管理平臺建設和維護等相關(guān)工作。,數(shù)據(jù)架構(gòu)是指從遵從業(yè)務架構(gòu)，支持應用架構(gòu)的層面出發(fā)，著力于銀行的數(shù)據(jù)資源，定義數(shù)據(jù)的分布、存儲、移動和檢索。數(shù)據(jù)架構(gòu)管理包括主數(shù)據(jù)分布管理、數(shù)據(jù)存儲架構(gòu)管理、數(shù)據(jù)交換方式管理、數(shù)據(jù)模型策略管理、數(shù)據(jù)應用模式管理及相關(guān)的流程、制度和規(guī)范。,數(shù)據(jù)是指以電子形式存儲的銀行業(yè)務數(shù)據(jù)、辦公信息、系統(tǒng)運行日志、故障維護日志以及其他內(nèi)部資料。數(shù)據(jù)安全管理是明確

7、數(shù)據(jù)的保密范圍與保密要求，有效防范信息安全風險，規(guī)范信息科技定密管理、保密載體管理、科技信息傳送范圍和調(diào)用審批管理。,數(shù)據(jù)管控實現(xiàn),,,,,,,,,沙盤演練應用,實時分析應用,企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),核心,信貸,國結(jié),村鎮(zhèn)銀行,數(shù)據(jù)采集,數(shù)據(jù)傳輸,數(shù)據(jù)處理,統(tǒng)一調(diào)度,統(tǒng)一監(jiān)控,核心數(shù)據(jù),信貸數(shù)據(jù),國結(jié)數(shù)據(jù),網(wǎng)銀數(shù)據(jù),實時決策區(qū),技術(shù)緩沖層,偏源模型層,整合模型層,共性加工層,數(shù)據(jù)補錄層,應用集市層,分行應用層,沙盤演練層,

8、集成數(shù)據(jù)區(qū),社交媒體信息,用戶評價信息,移動互聯(lián)信息,用戶位置信息,大數(shù)據(jù)處理區(qū),業(yè)務數(shù)據(jù)歸檔,分析數(shù)據(jù)歸檔,集市數(shù)據(jù)歸檔,其他數(shù)據(jù)歸檔,歷史數(shù)據(jù)區(qū)(HODS),固定報表,多維分析,靈活查詢,數(shù)據(jù)挖掘,儀表盤,EOD數(shù)據(jù)總線,,客戶管理,風險管理,財務管理,運營管理,分析數(shù)據(jù)區(qū),監(jiān)管合規(guī),ESB,數(shù)據(jù)管控平臺,Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,數(shù)據(jù)管控組織架構(gòu),數(shù)據(jù)管控業(yè)務組,數(shù)據(jù)管控技術(shù)組,

9、數(shù)據(jù)管控委員會,專職標準管理專 員2人-3人，按 主題劃分。,專職數(shù)據(jù)質(zhì)量管 理專員2人-3人， 按系統(tǒng)跟進。,數(shù)據(jù)標準管理,數(shù)據(jù)質(zhì)量管理,在信息技術(shù)部需 要配置專職3-4 人負責數(shù)據(jù)字典 管理。 對應系統(tǒng)開發(fā)組要配備兼職的專員。,元數(shù)據(jù)管理,,,,業(yè)務部門,數(shù)據(jù)標準專員 （兼職）,數(shù)據(jù)質(zhì)量專員 （兼職）,,數(shù)據(jù)管控辦公室,管控委員會及管控辦公室工作職能,對全行數(shù)據(jù)管控

10、工作進行集中統(tǒng)一領(lǐng)導，協(xié)調(diào)相關(guān)職能部門的運作；審議全行數(shù)據(jù)管控建設狀況，研究確定全行數(shù)據(jù)管控的戰(zhàn)略、方針和政策；審定全行數(shù)據(jù)管控方案與實施計劃；監(jiān)督檢查全行數(shù)據(jù)管控措施的執(zhí)行情況；不定期審議數(shù)據(jù)管控重大變更事項；針對數(shù)據(jù)檢查報告中提出的嚴重違規(guī)及重大問題，在全行范圍內(nèi)協(xié)調(diào)整改、處理及處罰；定期聽取數(shù)據(jù)管控辦公室對數(shù)據(jù)管控工作的匯報；審議其他需提交委員會研究的數(shù)據(jù)管控事項。,數(shù)據(jù)管控委員會職責,定期向管控委員會匯報數(shù)據(jù)管控工作情

11、況，并落地執(zhí)行管控委員會的決議；溝通和協(xié)調(diào)數(shù)據(jù)管控日常管理工作，組織數(shù)據(jù)管控日常會議，并跟進會議事項；制定數(shù)據(jù)管控每年及階段性的工作計劃；協(xié)調(diào)相關(guān)各部門推動數(shù)據(jù)管控執(zhí)行策略和執(zhí)行方案；承擔數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理工作；組織制定數(shù)據(jù)管控考核辦法，并承擔全行數(shù)據(jù)管控的考核工作。,數(shù)據(jù)管控辦公室職責,數(shù)據(jù)管控中業(yè)務部門角色分類,,,,,,業(yè)務屬主部門,,系統(tǒng)屬主部門,,數(shù)據(jù)操作部門,,數(shù)據(jù)應用部門,,,,,制定本部門負責的數(shù)據(jù)主題

12、的數(shù)據(jù)標準。配合與本部門業(yè)務相關(guān)的數(shù)據(jù)治理工作。提出本部門業(yè)務需求。,整合本部門的系統(tǒng)所有業(yè)務需求，并必須遵循數(shù)據(jù)標準規(guī)范。牽頭負責本部門的系統(tǒng)的數(shù)據(jù)治理工作。配合本部門系統(tǒng)所涉及的標準評審工作。,按業(yè)務操作流程完成本部門數(shù)據(jù)錄入工作，并制定數(shù)據(jù)質(zhì)量保證措施。結(jié)合數(shù)據(jù)質(zhì)量要求，制定本部門錄入崗位的數(shù)據(jù)質(zhì)量考核指標。向系統(tǒng)屬主部門提出改善數(shù)據(jù)質(zhì)量的相關(guān)建議。,參與本部門使用到的數(shù)據(jù)的標準評審工作。從使用數(shù)據(jù)的角度制定數(shù)據(jù)質(zhì)量

13、核檢規(guī)則并部署。發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題需及時上報數(shù)據(jù)管控辦公室。,1,2,3,4,業(yè)務部門角色,2,業(yè)務屬主部門,系統(tǒng)屬主部門,數(shù)據(jù)操作部門,2,1,3,2,2,2,3,2,1,2,1,3,1,2,3,1,1,1,1,1,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,1,3,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,2,3,1,備注：由于數(shù)據(jù)使用部門很多，所以沒有標注在上面。,數(shù)據(jù)標準

14、制定流程,數(shù)據(jù)標準應用流程,數(shù)據(jù)標準落地流程：指標準制定后階段性往上游業(yè)務系統(tǒng)、數(shù)據(jù)基礎平臺和下游應用系統(tǒng)落地的流程,數(shù)據(jù)標準檢核流程：指在信息科技部日常的開發(fā)評審環(huán)節(jié)中增加數(shù)據(jù)標準檢查的流程。,數(shù)據(jù)質(zhì)量問題解決流程,數(shù)據(jù)質(zhì)量規(guī)則制定流程,17,管理制度-數(shù)據(jù)質(zhì)量平衡計分卡,如何在考核中體現(xiàn)數(shù)據(jù)質(zhì)量的考核？,各部門問卷評分,評分規(guī)則完整性，滿分5分，得分=5*（分數(shù)總和/19）及時性，滿分2分,得分取值為1.5（稍延后）或2（很及

15、時）準確度，滿分3分，得分=3*（分數(shù)總和/回答問題數(shù)）綜合分，滿分10分，為完整性，及時性，準確度之和。規(guī)則說明完整性，看19個問題是否都進行答復，體現(xiàn)態(tài)度及時性，是否按要求的時間點完成，體現(xiàn)態(tài)度準確度，由專業(yè)人士分析部門反饋內(nèi)容，體現(xiàn)能力綜合分，在數(shù)據(jù)治理初期態(tài)度比重大，隨著企業(yè)治理文化形成，能力分的比重加大。結(jié)果點評用數(shù)的部門對于數(shù)據(jù)治理較為重視，本身的能力也具備，比如風管部、計財部、稽核審計部。電子銀行部

16、表現(xiàn)不錯，從回答的問卷來看，對數(shù)據(jù)的理解比較到位，未來通過數(shù)據(jù)分析大力發(fā)展業(yè)務的能力具備。資金部由于系統(tǒng)較少，而且業(yè)務規(guī)模不大，所以對數(shù)據(jù)不是太重視。信審部重操作不重分析，未來可以結(jié)合數(shù)據(jù)對員工能力進行量化考核。中小部需要重視數(shù)據(jù)價值。評分目的希望在銀行形成數(shù)據(jù)治理、數(shù)據(jù)運用的文化。通過量化的指標讓領(lǐng)導對于各部門的配合有直觀的認識。,,數(shù)據(jù)管控業(yè)務組,,數(shù)據(jù)管控組,數(shù)據(jù)平臺需求組,,,業(yè)務的理解對數(shù)據(jù)標準的制定、推行數(shù)據(jù)質(zhì)量治

17、理很重要,籌備每月或每兩月數(shù)據(jù)管控委員會會議。全行數(shù)據(jù)管理工作考核。承擔數(shù)據(jù)標準管理職能。承擔數(shù)據(jù)質(zhì)量管理職能。,,作為全行數(shù)據(jù)倉庫業(yè)務需求部門。作為需要整合全行數(shù)據(jù)的數(shù)據(jù)集市的業(yè)務方。參與評審數(shù)據(jù)倉庫模型的準入原則。組織協(xié)調(diào)數(shù)據(jù)倉庫的UAT。,數(shù)據(jù)管控技術(shù)組,,數(shù)據(jù)管控組,數(shù)據(jù)平臺開發(fā)團隊,,,技術(shù)對數(shù)據(jù)標準的落地、數(shù)據(jù)質(zhì)量分析的支撐很重要,配合數(shù)據(jù)標準的制定工作。數(shù)據(jù)質(zhì)量管理中與業(yè)務組一起分析、討論治理方案，并在科技內(nèi)

18、部協(xié)調(diào)相關(guān)資源參與。主導并承擔元數(shù)據(jù)管理職責。,,負責全行數(shù)據(jù)基礎平臺的開發(fā)。負責全行應用集市的建設和開發(fā)。負責全行統(tǒng)一調(diào)度、統(tǒng)一報表平臺的建設。負責大數(shù)據(jù)技術(shù)的研發(fā)。,,信息技術(shù)部數(shù)據(jù)團隊– 數(shù)據(jù)開發(fā)職責,銀行A（規(guī)模略?。簲?shù)據(jù)開發(fā)團隊人員10人，目前無大數(shù)據(jù)組。銀行B（規(guī)模較大的城商行）： 數(shù)據(jù)開發(fā)團隊23人，不包括大數(shù)據(jù)組。,Agenda,數(shù)據(jù)管控方法論,數(shù)據(jù)管控工作內(nèi)容,同業(yè)數(shù)據(jù)管控參考,討論和反饋,國有銀行A –

19、一級部 管理信息部,,股份制銀行B – 二級部 管理信息中心,2012年6月20日，總行批準設立管理信息中心，為總行計劃財務部下屬二級部門，內(nèi)設信息管理處、信息服務處和管理會計處3個處；,城商行C – 準備采用的數(shù)據(jù)管控組織架構(gòu),成立二級中心，建議在財務部、資產(chǎn)負債部、風險管理部、科技部門選擇成立二級中心。該二級中心必須有專職人員從事以下工作，并且有考核的職責。組織數(shù)據(jù)管控委員會日常會議，預先準備會議討論事項，并且跟進數(shù)據(jù)管控委員會

20、決議之后的工作推動。數(shù)據(jù)標準管理工作數(shù)據(jù)質(zhì)量管理工作ODS及數(shù)據(jù)倉庫平臺的業(yè)務歸屬部門，統(tǒng)籌全行基礎數(shù)據(jù)平臺的需求。 目前財務部的監(jiān)管報送任務（參考目前的人員配置）二級中心放在科技部門：對系統(tǒng)架構(gòu)比較熟悉，容易推動標準落地和質(zhì)量檢核，但是在全行層面推動相關(guān)部門的配合需要強有力的抓手，否則管控力度不夠。二級中心放在業(yè)務部門：熟悉業(yè)務知識，從根源上解決系統(tǒng)需求不合理導致質(zhì)量問題，并且在制定標準和推動數(shù)據(jù)質(zhì)量整改上有較強的力度和推