數(shù)據(jù)血緣管理開源工具(數(shù)據(jù)血緣關(guān)系管理)
今天給各位分享數(shù)據(jù)血緣管理開源工具的知識,其中也會對數(shù)據(jù)血緣關(guān)系管理進行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!
本文目錄一覽:
- 1、統(tǒng)一元數(shù)據(jù)管理你們都用的誰家的?為什么?
- 2、元數(shù)據(jù)管理框架如何制定,方法都在這!
- 3、數(shù)據(jù)血緣設(shè)計想法(初稿)
- 4、什么是基于SQL圖形化數(shù)據(jù)血緣系統(tǒng)?
統(tǒng)一元數(shù)據(jù)管理你們都用的誰家的?為什么?
?我們用的是滴普科技的產(chǎn)品,他們在異構(gòu)數(shù)據(jù)的統(tǒng)一元數(shù)據(jù)管理方面表現(xiàn)還是不錯的。能夠?qū)崿F(xiàn)端到端的數(shù)據(jù)鏈路的自動化元數(shù)據(jù)采集,支持全鏈路血緣,一鍵式分析技術(shù)、業(yè)務(wù)、操作元數(shù)據(jù)詳情。
元數(shù)據(jù)管理框架如何制定,方法都在這!
元數(shù)據(jù)管理計劃實施數(shù)量將持續(xù)增長到2021年以后。根據(jù)DATAVERSITY?數(shù)據(jù)管理趨勢報告,有84%的業(yè)務(wù)受訪者已經(jīng)實施了元數(shù)據(jù)管理計劃或已經(jīng)開始制定計劃。一家公司在元數(shù)據(jù)管理方面的成功取決于實施前是否依托于一個有用的元數(shù)據(jù)管理框架。
處理好元數(shù)據(jù)對于公司而言,在于遵守數(shù)據(jù)法規(guī),提高數(shù)據(jù)質(zhì)量,探索機器學(xué)習(xí)以及更好地使用數(shù)據(jù)。但是元數(shù)據(jù)管理超越技術(shù),而主要依賴支持它的人員和政策。
一、什么是元數(shù)據(jù)管理框架?
元數(shù)據(jù)管理框架描述了一種使數(shù)據(jù)和元數(shù)據(jù)資產(chǎn)更易于訪問和用于實現(xiàn)業(yè)務(wù)目標(biāo)的組織方法。它根據(jù)組織的需求,動員并擴展了作為元數(shù)據(jù)管理基礎(chǔ)的現(xiàn)有資源。
元數(shù)據(jù)管理框架發(fā)生在公司基礎(chǔ)架構(gòu)級別和運營級別。在更高層次上,元數(shù)據(jù)管理框架是伊恩·羅蘭茲(Ian Rowlands)DAMA芝加哥一章中的解釋說,需要行政支持和 數(shù)據(jù)策略制定更高的業(yè)務(wù)遠景。此外,元數(shù)據(jù)管理框架還指導(dǎo)人員和自動化算法在日常工作中捕獲、集成、管理和發(fā)布元數(shù)據(jù)。
從戰(zhàn)略和戰(zhàn)術(shù)角度考慮,元數(shù)據(jù)管理框架必須涵蓋項目內(nèi)部或與項目內(nèi)進行交互的任何人。因此,元數(shù)據(jù)管理框架需要得到數(shù)據(jù)治理程序。
數(shù)據(jù)治理將有關(guān)元數(shù)據(jù)的可用性,具有元數(shù)據(jù)的組織優(yōu)先級以及何時以及如何交付元數(shù)據(jù)的信息通知元數(shù)據(jù)管理框架。作為反饋,元數(shù)據(jù)管理框架將有關(guān)數(shù)據(jù)合規(guī)性、數(shù)據(jù)可訪問性和數(shù)據(jù)質(zhì)量的信息告知企業(yè)數(shù)據(jù)治理。將元數(shù)據(jù)管理和數(shù)據(jù)治理基礎(chǔ)視為串聯(lián)工作并提供數(shù)據(jù)解釋。
二、選擇元數(shù)據(jù)管理框架之前要考慮的因素
在創(chuàng)建任何元數(shù)據(jù)管理框架之前,請考慮以下事項:
獲得元數(shù)據(jù)管理框架基準(zhǔn):即使組織中不存在正式的元數(shù)據(jù)管理框架,隱性的也存在。技術(shù)文件映射數(shù)據(jù)架構(gòu),經(jīng)驗豐富的業(yè)務(wù)分析師之外的人可以理解報告數(shù)據(jù),而數(shù)據(jù)輸入過程則提供了有關(guān)組織數(shù)據(jù)及其元數(shù)據(jù)管理框架片段的上下文。
獲得有關(guān)人員,流程和技術(shù)已經(jīng)存在以及它們?nèi)绾瓮ㄖM織的元數(shù)據(jù)管理框架的基準(zhǔn)是很有意義的。使用“合格且知識淵博的數(shù)據(jù)專業(yè)l(和其他熟練的人才)來管理和解釋“數(shù)據(jù)就緒性評估”以及“數(shù)據(jù)成熟度”模型,則提供了良好的元數(shù)據(jù)管理框架起點。進而,公司可以得到改善元數(shù)據(jù)管理框架的具體建議。
清楚元數(shù)據(jù)管理框架將實現(xiàn)的目標(biāo):清楚為什么組織需要管理元數(shù)據(jù)和實現(xiàn)元數(shù)據(jù)管理框架。元數(shù)據(jù)管理有助于降低培訓(xùn)成本,在整個數(shù)據(jù)系統(tǒng)中更好地使用數(shù)據(jù)并簡化通信,但并不能解決所有數(shù)據(jù)問題。
如果組織優(yōu)先于客戶體驗或開發(fā)產(chǎn)品和服務(wù)而不是數(shù)據(jù)共享和數(shù)據(jù)發(fā)現(xiàn),那么與其他選擇相比,元數(shù)據(jù)管理框架可能不是最佳解決方案。鑒于任何有用的數(shù)據(jù)管理框架都傾向于具有昂貴的設(shè)置,因此組織首先需要認真研究為什么要實施元數(shù)據(jù)管理框架。
提高集體數(shù)據(jù)素養(yǎng):使用元數(shù)據(jù)需要已同步組織定義者,生產(chǎn)者和用戶之間的協(xié)作和可重復(fù)的動作。認識到這類人存在于不同的組織部門中,并且有各種各樣的跨功能技能。有些人具有很高的技術(shù)和分析能力,而另一些人則具有較軟的技能。
不同的公司子集團可能會從非常不同的角度考慮并應(yīng)用任何元數(shù)據(jù)管理框架。一個人的定義可能與另一個人的定義不同。
集體數(shù)據(jù)素養(yǎng)通過了解如何解釋,交流和使用元數(shù)據(jù)更好地掌握公司數(shù)據(jù)資產(chǎn),幫助利益相關(guān)者理解元數(shù)據(jù)管理框架。通過元數(shù)據(jù)進行規(guī)劃,以全面了解業(yè)務(wù)需求,指導(dǎo)人們?yōu)槭裁匆约叭绾问褂萌魏卧獢?shù)據(jù)來完成工作或?qū)崿F(xiàn)目標(biāo)。
利用已經(jīng)存在的元數(shù)據(jù)管理框架片段:在花錢購買工具和資源以建立新的元數(shù)據(jù)管理框架之前,請使用組織中已經(jīng)存在的元數(shù)據(jù)管理框架來快速獲勝并展示其價值。讓知道如何解釋客戶報告含義的人記錄該知識。更新現(xiàn)有的技術(shù)架構(gòu)圖,以包含更健壯的元數(shù)據(jù),例如數(shù)據(jù)字典。
另外,請考慮有關(guān)構(gòu)建或改進元數(shù)據(jù)管理框架的現(xiàn)有標(biāo)準(zhǔn)和實踐。例如,國際統(tǒng)計分類由世界衛(wèi)生組織(WHO)批準(zhǔn)的《疾病分類》為臨床醫(yī)生,研究人員和醫(yī)療帳單人員定義了疾病和健康問題。如果與業(yè)務(wù)相關(guān),請利用現(xiàn)有的權(quán)威元數(shù)據(jù)源。
三、總結(jié)
元數(shù)據(jù)管理框架不僅僅是技術(shù)解決方案。它描述了管理元數(shù)據(jù),動員人員,技術(shù)和實踐的方法和愿景。而且,元數(shù)據(jù)管理框架與數(shù)據(jù)治理緊密地交織在一起。做好元數(shù)據(jù)管理需要在整個組織中建立牢固的元數(shù)據(jù)管理框架基礎(chǔ)。
四、元數(shù)據(jù)管理工具介紹
億信華辰元數(shù)據(jù)管理平臺(EsPowerMeta)提供了完善的元模型和元數(shù)據(jù)維護功能,采用多種方式簡化元數(shù)據(jù)維護的復(fù)雜性。系統(tǒng)支持元數(shù)據(jù)的自動獲取和時間調(diào)度管理,支持手工創(chuàng)建和變更元數(shù)據(jù),并配合版本管理,能完整存儲元數(shù)據(jù)整個生命周期動態(tài)和變化,方便用戶跟蹤業(yè)務(wù)運作的歷史數(shù)據(jù)。億信華辰元數(shù)據(jù)管理平臺應(yīng)用案例:
佛山某區(qū)政務(wù)服務(wù)數(shù)據(jù)管理局元數(shù)據(jù)管理平臺
建設(shè)內(nèi)容:
政務(wù)服務(wù)數(shù)據(jù)管理局基于區(qū)內(nèi)各政府部門的數(shù)據(jù)進行匯總和治理,面向各部門提供統(tǒng)一的數(shù)據(jù)服務(wù)和應(yīng)用,實現(xiàn)“用數(shù)據(jù)決策、用數(shù)據(jù)監(jiān)管、用數(shù)據(jù)創(chuàng)業(yè)”的數(shù)據(jù)統(tǒng)籌發(fā)展運行機制。本項目通過元數(shù)據(jù)管理平臺,梳理各類數(shù)據(jù)來源,實現(xiàn)衛(wèi)計委、工商局、流管局等各政府部門的元數(shù)據(jù)自動采集,理清現(xiàn)有的數(shù)據(jù)流轉(zhuǎn)流程和數(shù)據(jù)架構(gòu),并基于其構(gòu)建一套新的數(shù)據(jù)架構(gòu),同時提供數(shù)據(jù)血緣分析、影響分析等,最后形成全區(qū)的政務(wù)數(shù)據(jù)地圖。
項目價值:
幫助數(shù)據(jù)管理局確定數(shù)據(jù)來源和數(shù)據(jù)架構(gòu),為后續(xù)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè),數(shù)據(jù)質(zhì)量管理打下堅實的基礎(chǔ),并為政務(wù)資源目錄、自主填報系統(tǒng)、教育無紙化等應(yīng)用提供支撐。
數(shù)據(jù)血緣設(shè)計想法(初稿)
一、背景:
數(shù)據(jù)血緣貫穿數(shù)據(jù)產(chǎn)生到應(yīng)用的整個流程,在數(shù)據(jù)采集中,需要從清楚埋點后續(xù)使用情況,以統(tǒng)計使用率,避免冗余的數(shù)據(jù)上報;在數(shù)據(jù)計算中,調(diào)度需要清楚數(shù)據(jù)的執(zhí)行狀態(tài),確保上層數(shù)據(jù)執(zhí)行完成;在數(shù)據(jù)管理中,需要線索去追溯數(shù)據(jù)的流向,以清楚標(biāo)簽和指標(biāo)的計算方式和應(yīng)用位置;在數(shù)據(jù)應(yīng)用中,我們也需要清楚問題數(shù)據(jù)的來源;
二、目標(biāo):
為了解決以上流程中數(shù)據(jù)的關(guān)聯(lián)關(guān)系,嘗試設(shè)計數(shù)據(jù)血緣去將數(shù)據(jù)執(zhí)行的流程串起來,方便追溯數(shù)據(jù)問題,也可滿足數(shù)據(jù)治理,避免數(shù)據(jù)冗余。此需求文檔是基于產(chǎn)品對數(shù)據(jù)體系的理解進行設(shè)計,暫時不會投入開發(fā),會根據(jù)理解逐漸深入隨時更新,發(fā)掘更多數(shù)據(jù)血緣的使用場景;
三、設(shè)計方案概述:
基于以上背景,在進行數(shù)據(jù)血緣設(shè)計時,需要將數(shù)據(jù)血緣設(shè)計按照數(shù)據(jù)流轉(zhuǎn)方式分為四個場景;
什么是基于SQL圖形化數(shù)據(jù)血緣系統(tǒng)?
建立一套數(shù)據(jù)血緣系統(tǒng)。
使得用戶不用再通過分析SQL代碼,也可以輕松直觀查詢到數(shù)據(jù)節(jié)點之間的關(guān)系。
可參考:SQL圖形化
關(guān)于數(shù)據(jù)血緣管理開源工具和數(shù)據(jù)血緣關(guān)系管理的介紹到此就結(jié)束了,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,記得收藏關(guān)注本站。
掃描二維碼推送至手機訪問。
版權(quán)聲明:本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布,如需轉(zhuǎn)載請注明出處。