發布日期：2022-04-20 點擊率：35
引言
數據管理貫穿于泛在電力物聯網建設應用的各個環節,是泛在電力物聯網建設的重要內容,數據管理的價值也相當顯著,數據不僅能夠反映表面現狀,也能夠揭示發展的基本規律。做好數據管理,總結數據表面現狀和深層的變化趨勢,可以為企業發展提供指導和參考。
1供電企業數據管理開展背景及現狀
經過多年的信息化建設,供電企業積累了海量的數據資源。目前,供電企業已經建立了專門的組織機構和大數據中心來負責管理數據,通過統一數據中心部署實施,形成了"模型規范統一、數據干凈透明、分析靈活智能"的數據服務能力。但相較于互聯網、電子商務等領域,供電企業的數據管理仍處于剛起步階段,跨專業、跨層級的數據共享困難,數據"看不到、讀不懂、應用難"等問題凸顯,主要體現在以下三個方面:
一是缺乏一套完整的數據臺賬清單或目錄體系,來整體呈現企業數據資產的規模、分布等狀況。
二是數據字典是"讀懂"業務系統數據庫、表和字段的重要基礎資料,主要面向技術開發人員,同時業務系統運行態和設計態數據庫表不一致、不完整,維護和更新不及時,不能很好地支撐各個部門之間業務上的關聯,數據共享和業務協同困難。
三是缺乏統一的數據語言平臺,業務人員、數據人員以及技術人員對同一數據的理解存在差異,需要多方的翻譯和解讀。
導致當前供電企業數據管理水平相對較低的原因很多,歸納起來主要包括以下幾點:
一是供電企業相對互聯網、電子商務等行業缺乏原生的數據基因。作為傳統產業,早已形成了一整套成熟的管理模式,信息化發展只是進一步提升這套管理模式的效率和效果。
二是供電企業開展數據應用的驅動力不夠強烈。公用事業行業的特性使其對利潤的敏感性與純商業公司相比較低,導致供電企業對引入新的數據方法、開展大規模的數據應用動力不足而且相對保守。
三是供電企業專業化的管理模式也在一定程度上限制了數據的應用。不同專業條線數據的采集邏輯、統計口徑具有獨立性,數據應用往往局限在某一專業內,導致不同來源數據間缺乏關聯,無法實現跨專業的綜合分析,限制了數據價值的發揮。
四是各專業"煙囪式"的信息化發展導致數據管理部門對企業數據的規模、分布和內容等狀況沒有很好的掌握,統一的數據管理方式無法有效實施,導致企業數據文化的建設緩慢。
2數據管理的內容、根基及意義
廣義的數據管理一般包括兩個層面的內容:一是對數據的管控,先管起來并管好,讓企業數據更加準確、一致、完整、透明、安全,沒有歧義,方便獲得,來源統一,降低采集、開發、管理、溝通和使用中的成本:二是數據資產的應用,目的是使企業數據的使用更為人性化、易用、快捷、智能,從而提升企業管理層和業務人員根據數據促進管理、進行業務決策的水平。
業界對數據管理理論方面的研究,比較成熟的包括DAMA數據管理職能框架、DGI數據管控框架、CMMI數據管理成熟度模型(DMM）、IBM企業數據管理能力成熟度模型以及畢馬威、普華永道等國際大型咨詢公司發布的細分行業數據管理體系架構,我國還有全國信標委大數據標準工作組發布的數據管理能力成熟度評價模型(DCMM）等。雖然數據管理方面的理論研究已經比較充分,但如何從理論走向實踐卻是一個不小的挑戰。
任何高樓大廈的建立,都離不開堅實的地基,同理,數據管理無論運用何種理論落地開展,都必須先掌握數據,了解數據的全貌,這樣才能選擇合適的方法進行有效的管理。而要了解并掌握數據全貌,就必須對業務、數據以及系統等情況進行全面梳理和盤點,掌握數據資源的狀況和特點,構建企業數據資源目錄,面向業務人員、技術人員和管理人員,統一數據語言,支撐泛在電力物聯網建設。
3數據盤點的做法
通過開展數據盤點,厘清、補充和完善業務系統數據庫、數據表、字段等數據對象,提升數據庫表、字段信息的可讀性和可用性:再構建數據目錄,支撐數據的快捷查詢、定位、應用,統一形成企業數據共享應用、質量安全等管理的基石,為業務人員、技術人員、管理人員及領導層提供數據服務。
圍繞數據采集、標識、完善等要素,結合數據盤點工具總結提煉形成一套成熟做法,即"數據盤點八步法",用于實現數據盤點、目錄構建的落地實施。數據盤點八步法如圖1所示。
第一步:信息收集。
系統實際運行態數據是數據盤點的基礎,在技術實現方面,需要通過工具與各個業務系統進行對接,以實現元數據的自動采集。因此,需要明確采集業務系統范圍,為了保障工作的順利進行,先行選取營銷、設備等不同典型代表專業的信息系統做試點。
通過制定模板,編制《數據盤點信息收集模板》,明確業務系統的部署方式、系統規范名稱、所屬業務部門等基本信息,以及數據庫類型、數據運行版本、數據IP地址等數據庫信息作為采集內容,下發至業務部門。業務部門配合填寫"數據盤點信息收集模板",指定數據盤點部門接口人員、技術支撐人員,填寫系統基本信息、數據庫信息、工具配置信息等內容并反饋。
第二步:資源獲取。
依據數據盤點信息收集表,配置數據盤點工具與業務系統鏈接,通過工具對各個系統進行元數據采集配置,業務部門技術支撐人員配合,主要采集對象包括系統數據庫、數據表、字段以及報表等,采集結果作為后續有效數據表識別、核心數據篩選、業務信息補充以及數據目錄建立的基礎元數據信息。數據資源獲取如圖2所示。
第三步:有效表識別。
元數據采集信息為系統全量數據,其中包含大量的無業務含義的數據表及空表等,統稱為"無效表"。通過工具建立空表、備份表、臨時表等無效表過濾規則,對系統全量數據進行自動篩選和過濾,識別結果支持查看表字段詳情和調整標記,通過人工校核的方式防止工具誤判,最終準確識別業務系統中的有效表和無效表。
第四步:核心數據識別。
核心數據包括標準數據模型所包含的數據表、跨系統共享的數據表、系統所涉及上下游的數據表、人工補充確認的數據表等。核心數據對公司的業務支撐和運營管理有重要的作用,是公司數據管理的重點范圍,通過業務部門參與,利用工具配置過濾規則,利用工具基于標準數據模型的模型文件和過濾規則識別業務場景中關聯的數據字段,剔除系統表中的維度信息、注釋信息等,保留具有業務含義的數據,聚焦核心數據。核心數據項識別圖如圖3所示。
第五步:三態分析。
三態分析是通過數據盤點工具,實現盤點結果、運行態、設計態等三態數據信息的比對,針對發現的問題,協同業務部門進行整改,推動源頭系統與數據字典持續完善,實現三態一致。
設計態數據與運行態數據比對,主要是分析盤點結果與源系統信息匹配情況,識別線上線下數據內容差距。
盤點結果與運行態數據比對,主要有兩種比對方式:一是同一時點相似數據表之間的信息比對,判斷相似運行態數據之間的屬性差異,通過血緣分析、影響分析,進一步明確數據表邏輯加工過程及對下游數據影響的差異。二是不同時點同一數據表信息比對,判斷表結構變更情況,進而通過血緣影響分析,分析比對源系統表結構變更情況,識別表結構變更對下游數據帶來的影響。
第六步:信息補充。
數據盤點工具自動采集數據字典描述實現部分信息自動補充,需要人工對工具自動補充內容進行確認。對于無法自動完善的數據字段由業務部門制定工作模板組織責任部門在線對業務產生數據項進行梳理并對數據項進行完善,同時對有效數據表關聯關系、數據生成方式、數據字段的準確性、一致性等要求進行維護。
第七步:業務標簽。
數據標簽是指基于數據的各類元數據信息和數據內容的剖析來標識數據的各類特征,例如數據的業務屬性、安全等級、數據熱度等等,通過數據標簽可以幫助各類用戶從業務視角、技術視角以及管理視角等維度立體化理解數據,從而促進數據在組織內部的應用。
通過工具利用算法自動標識以及人工標記數據的業務特征,與已有元數據信息進行關聯匹配,形成標簽化數據資源,通過數據標簽可以幫助各類用戶從業務視角、管理視角等多維度理解和管理數據。
第八步:庫表目錄構建。
基于標簽后的數據盤點成果,結合業務信息系統功能菜單,從系統的視角建立數據資產目錄的結構體系:依據各個數據的業務標簽對數據進行分類,把業務系統中的有效表分配到各個目錄結構下:通過數據盤點工具發布形成系統級數據庫表目錄,各業務部門依照權限進行訪問。系統庫表目錄構建如圖4所示。
4構建數據資源目錄
數據資源目錄是指對數據資源分類后,按照一定的次序編排而成的數據資源列表,便于數據資源共享開放檢索、定位和發現。數據盤點形成的數據庫表目錄對技術人員使用來說較為方便和順手,但對于公司業務人員和管理人員來說就不夠友好。供電企業內部均以業務的語言進行溝通協作,庫表目錄難以反映數據與業務的關系。
數據管理應當轉變思路和視角,不能簡單地以信息化建設管理的思路進行數據管理,而是應該以開放的態度,引入各業務部門深度參與公司數據的維護和管理。因此,需要以業務分類構建公司級數據資產目錄。
針對完善后的數據信息,通過融合業務數據項、數據標準模型等,建立業務數據項一物理模型一邏輯模型一概念模型以及業務數據項一物理模型一數據表的關聯鏈路,實現與業務、模型、源系統三者貫通,為技術人員、業務人員和管理人員搭建統一數據語言的橋梁,促進公司數據文化的發展。圖5是公司級數據資源目錄構建路徑圖。
5實施效果
5.1統一公司業務系統規范名稱
供電企業信息化經過多年高速發展,各專業建設了大量的信息系統,運維管理單位與業務部門使用的系統名稱存在差異,一定程度上影響了企業內部的數據共享使用。通過數據盤點,統一了管理部門、運維部門和業務部門的系統臺賬信息,解決了公司系統名稱不對應等問題,為后續的數據共享應用打下了良好基礎。
5.2厘清公司業務系統庫表狀況
系統的數據庫表隨著信息系統建設的不斷完善,與設計之初發生了較大變化,后續的數據字典完善由于缺乏有效管控,未能準確反映當前在運系統數據庫表結構的實際情況。通過數據盤點和庫表目錄構建,不僅能夠清晰地掌握當前在運系統的數據庫表現狀,還能準確地發現運行態與設計態的數據結構差異。一是能夯實數據管理基礎,提升數據庫表、字段信息的可讀性和可用性:二是能推動源頭系統與數據字段的持續完善。
5.3構建基于業務的數據資源目錄
以業務分類構建數據目錄,打通"業務一數據一模型"路徑,實現業務與標準數據模型的有機結合,更便于業務人員、數據人員以及技術人員進行溝通協作。基于數據模型構建數據目錄,將進一步推進標準數據模型的落地應用和迭代完善。通過構建業務數據目錄,能促使供電企業轉變數據管理思路,從業務管理視角,將數據從業務系統中解析和沉淀出來,探索推進數據資產化管理。
6結語
綜上所述,本文圍繞供電企業中跨專業、跨層級的數據共享困難,數據"看不到、讀不懂、應用難"等問題,運用"數據盤點八步法"對業務、數據以及系統等情況進行全面梳理和盤點,構建了公司級數據資源目錄,面向業務人員、技術人員、管理人員及領導層,提供統一語言的數據服務,支撐數據的快捷查詢、定位,推動公司數據匯集融合共享,有效支撐了泛在電力物聯網建設。
下一篇： PLC、DCS、FCS三大控
上一篇： 10kV線路因同塔架設不
