黄东旭解析 TiDB 的核心优势
829
2023-06-13
本文讲述了数据管理概念,数据管理系统功能有哪些
DAMA-数据管理概念
数据的定义
数据是企业的资产,它可以被拥有、使用,并产生价值。但是数据和其他资产不同的是,数据不可触摸,却是持久性的,不会被消耗;数据容易被拷贝和迁移,但是数据如果丢失或者被破坏,并不容易再生。数据在使用时,不会被消耗,甚至可以在没有消失的情况下被盗。
数据价值
数据价值是场景性的,不同场景价值不同;且具有时间性,不同时间点数据价值不同。所以数据的价值评估也没有统一标准。但是还是需要各自组织针对自身情况开发出一套相对合理的可量化他们的数据价值体系。
数据管理
数据管理是数据开发、实施和监督的综合过程,其中包括数据的计划、策略、流程、实践等。其目的是在整个数据生命周期内交付、控制、保护、输出数据,并因此提升数据的价值。
数据管理的核心是确保数据的质量,如果数据未能满足使用者的需求,那么所有的存储、计算、安全加固、使用数据的努力都是无用的。
数据管理是需要领导者参与的,数据管理是最企业所有数据进行管理,一定是需要各组织以及企业领导者的支持才能做得,因为其中不少的协作会影响到业务本身的进度,但是这是不可避免的因为构建数据中台难免会关联到业务,但是长期来看是有很大的好处的,这里就需要将价值点体现出来,让业务直观的感知到做的事情是有意义的才有动力。
数据管理的工作
数据治理活动:可以理解是是人体的神经系统,帮助控制数据的开发,通过一些制度、方法论等去支持。包括:
建立数据战略
设置相关原则
数据管理责任归属
定义数据在组织的价值
数据生命周期活动:可以劣迹是人体的骨架和血液,它是数据的规划和设计,包括:
数据架构
数据建模
数据分类
数据基础活动:人体的保护伞,贯穿整个数据生命周期,包括:
管理元数据
管理数据质量
DAMA定义了数据管理的11个知识领域
数据治理:通过建立数据决策的权限和责任,为数据管理活动和职能提供整体的指导和监督。
数据架构:是管理数据资产的蓝图,基于组织的战略目标,建立符合战略需求的数据架构
数据建模和设计:这些活动视探索、分析、表示、沟通数据需求的一个过程,最后表现为数据模型
数据安全:这一活动确保数据隐私和安全
数据整合与互操作:指的是多系统、不同应用之间的数据迁移和集成
文档和内容管理:通过规划、实施和监督活动,来管理数据和生命周期,尤其是对合规性相关、法律相关的文件管理
参考数据和主数据:对核心关键共享数据的持续更新和维护,以便得到最准确及时并和基础业务相关的数据
数仓和bi:通过计划、实施最终输出对管理决策有帮助的数据量化支持,体现数据价值
元数据管理:对元数据进行定义,方便对模型、数据、数据流等的理解以及维护
数据质量管理:包括规划和实施质量管理技术,以衡量、评估和改善组织使用的数据。
数据管理成熟度评估(DMMA)
可用于总体评估数据管理,对其进行了分级,不同层级数据管理的程度不同
第一级-初始级(临时级):
缺乏或者没有数据管理原则
组织个体的管理行为遵循了数据管理原则的一般常识,但还不是有意识地进行管理
第二级-可重复级:
具备数据管理原则的新知识
组织中多个领域已应用了一些数据管理的原则
第三级-已定义级:
熟悉数据管理原则
数据管理原则促进组织的管理,促使管理过程更加可靠
第四级-受管理级:
组织已对数据管理原则知识体系进行了管理
数据管理原则得到统一管理,并且已经准备进行描述
数据管理原则已成为组织中数据管理过程的可靠保证
第五级-优化级:
组织已根据数据管理原则度量自身的管理水平
数据管理原则不断驱动数据数据管理过程持续改进
数据伦理
数据伦理的定义
指如何以符合伦理准则的方式获取、存储、管理、使用、销毁数据。数据伦理是一项社会责任问题。
伦理准则:指的是行为准则上要遵循公平、尊重、责任、诚信、质量、可靠性、透明度、信任等方面。
伦理:意味着在没有人注意的情况下正确做事。
数据处理伦理问题,主要集中在几个核心概念上:
对人的影响,数据是代表个人的特征,可被用于做决策,会影响到人的生活,要保障数据的质量和可靠性
滥用的可能,滥用数据会对人和企业造成负面影响
数据的经济价值,需要规定数据所有权,也就是谁可以去用这个数据,怎么使用?
数据伦理准则
尊重他人,当数据作为资产时,内心要知道这个东西会影响人甚至社会,在设计信息系统时要考虑是采用强制模式还是用户自由选择的模式?处理的数据对特殊人群(残疾人、精神患者)有什么影响?如何对数据进行负责?是否是要在基于用户知情及授权情况下处理数据?
行善原则,将利益最大化,伤害最小化。数据处理是否在产生利益的同事,具有不必要的侵入性?是否高风险?是否缺乏透明度?是否会对人造成伤害?
公正,待人公平公正,在相似场景下,同一类人群是否受到不平等对待?是否对人带来了利益或分配不均的情况?机器学习的过程中是否无意加强了文化偏见的数据?
系统中数据处理伦理必须遵循以下4点:
面向未来的数据处理条例、尊重隐私权、数据保护权利
确定个人信息处理的负责人
数据处理产品及服务设计及工程过程中的隐私意识
增加个人的自主权
违背伦理进行数据处理的典型场景之数据会说谎:
时机选择,通过时间将某些数据点包含在报告中进行撒谎,例如股市,在收盘时认为拉升股票价格,最终导致看结果是一个大涨的情况,实际上在前面的过程可能是大跌。
可视化误导,图表和图形可用于误导性方式去呈现数据,例如修改比例尺寸,让趋势看起来更好或者更糟。
定义不清晰或无效的比较,通过指标定义的不清晰起到误导以及达到自己目的的对比
建立数据伦理文化
评审现有的数据处理方法
识别原则、实践和风险因素
指导性原则,例如人民对自己的健康信息有隐私权,隐藏该信息除非被本人授权可以给其他查看,否则不能给其他人查看
风险,确保个人信息隐私权不受侵犯
实施,只有护士和医生可以看,并且保证只用于提供护理
控制,对信息系统进行权限管控
制定合乎伦理的数据处理策略和路线图
价值观什么
符合伦理的数据处理原则
合规框架
风险评估
培训和交流
路线图
审计和监测方法
采用对社会负责的伦理风险模型
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。