数据中台笔记
上午花了1小时把这章节看完了。理解本章节主要是讲述了如何在公司内部推广及持续运营数据中台的问题。
对于这个数据运营,总的理解是:
始终不忘初心:围绕业务这个“因”
数据中台的运营,重要的是要业务层的需要,佛教所谓的“因”, 初心是业务数据化,数据业务化,所以离不开业务这个“因”。
业务用好了数据,自然会让数据重复的迭代、自然会关心数据的安全问题、公司的除了CIO之外的高层自然会关注数据中台。
2.“跨界”:
数据业务化,业务数据化的过程中,肯定会遇到各种问题,业务人员不懂数据、数据人员不懂业务,所以这种场景下跨界就变得很重要,能够成功跨界的技术人员,往往能够比较成功。现在鼓励业务人员懂的基本的SQL语法,鼓励数据人员懂的看基本的经营指标,也都是这个原因。
3.不惧怕失败:
技术新旧代替的时候,有时候可能旧技术在某个时间甚至强于新技术,这个时候会需要考验领导层的决心,鼓励各个业务线利用数据来提高效率,10个项目,可能成功1,2个,这个时候就可以树立典型,梳理标兵,通过这种方式让新技术在公司里面能够快速被用起来。
有了这么多“因”,“果”不会太差。
-- by 飞霜
10.1 数据中台运营效果评估
数据中台不能看为产品,而应该看做一个机制。可以把数据持续用起来。
如果数据可以被持续高质量地生产出来,数据消费者可以便捷地获取到数据,并能在安全、有监管的环境中使用,最终让数据资产达到一种比较理想的“越来越多,越来越好”的状态。
数据中台运营团队的使命及目标:
1. 数据安全及质量是中台可持续运营的基础;
2. 提效降本是打造中台影响力的关键。
10.2 数据中台运营的4个价值切入点:
1.统一战略-->2.搭建组织-->3.打造氛围-->4.实践创新
数据中台一旦开始运营,一定是CEO、CMO、COO、CFO 等各业务高管共同负责的目标。
搭建组织:包含常规数据分析人员+数据产品经理+数据运营专家+数据架构师。
集团型企业数据运营团队组织架构示例
包括:
数据委员会:负责指定方向,并授权各职能部门落地。
虚拟数据团队:各部门数据团队核心成员、熟悉建模理论、具备开发经验。
专家评审组:按照评审流程推进工作,记录要点线下改进。
执行团队:统一开发标准规范,做到有迹可循,有据可依。
3.打造氛围:
大屏显示,数据可视化。
4.实践创新:
内部通过鼓励、赛马等机制梳理优秀典型,通过复制成功经验的方式推动业务数据化、数据业务化落地。
10.3 数据资产运营
10.3.1 数据资产运营的4个目标:
数据资产运营的目标:让数据资产变得可阅读、易理解、好使用、有价值。
可阅读:资产信息必须以业务人员的阅读习惯呈现,而非面向技术人员的呈现方式。
易理解:数据资产需要标签化,面向业务人员的组织模式。
好使用:业务部门直接通过低码拖拽的方式,构建需求,直接使用数据。
有价值:根据标签的使用量、调用受众量、调用业务量、等维度来间接评估标签的重要程度。通过A/B 测试或者灰度测试,评估使用了数据资产服务的业务 和 未使用数据资产服务支撑的业务 在 核心业务指标里:用户黏性、转化率、营业额、访问量、访问深度、好评率、回头率、忠诚度等指标的差异程度,进而衡量业务的价值。
10.3.2 数据资产运营的完整路径:
看-》选-》用-》治-》评
10.3.3 数据资产运营执行的5个动作
组织登记 2.收集业务需求 3.登记信息上架
这里收集业务需求根据行业不同需求也在变化:
电商行业的类目运营人员,可能对复购率比较高的女性做精细化运营,因此“复购率” 和 “性别” 是主要的标签需求。
而制造业的业务人员来说,要增强设备制造产品的成品率,那么某零件的“制造失败率”就是主要的标签需求。
推广宣传:
这里主要反馈标签对运营的帮助,比较使用之前和使用之后,对业务帮助是否有帮助。(比如业务的效率是否有提升、盈利能力是否有上升等)
服务保障:
主要保障性能和安全。(频控、异常检查、业务审核、权限管理、数据加密等)
治理优化:
项目管理领域一个戴明循环的概念:PDCA 循环。
PDCA的四个阶段
这里讲了,业务是不断变化的,因此需要对数据运营里面的标签、数据组织方式等做持续优化。
10.3.4 数据资产质量评估
(1) 源头数据质量
数据安全性、准确性、稳定性、时效性、全面性
(2) 加工过程质量
标签测试准确率、产出稳定性、生产时效性、覆盖量、完善度、规范性、离散度。
(3)使用价值质量:
使用准确率、标签调用量、标签受众热度、标签可用率、标签故障率、标签关注热度、标签持续优化度、标签持续使用度、标签成本性价比等
其中上面描述的一些内容,需要通过内部系统使用的日志进行挖掘来进行评估。
10.3.5 数据资产安全管理
(1) 分级分类管理
按照数据的重要程度进行划分。(业务重要度、资产敏感度等)
(2) 脱敏和加密(数据屏蔽+存储数据加密)
数据脱敏后,不能反推出原始数据,防止数据泄露。
数据加密是对数据存储的操作,配置加密后,数据存储的是密文,实际使用数据时需要先解密才使用,可防止“托库”类操作直接从存储层泄露数据。
(3)监控和审计
构建各种安全指标,比如记录表大小变动、数据历史波动、人员使用监控、资产脱敏监控等。这样保证业务的安全。
10.4 数据成本运营:
数据量大了之后,就得考虑成本。
1) 原始数据成本: 建议永久保存。
2)过程数据:临时表建议及时删除。
3)结果数据:通过业务验证,有价值的保存,没价值的删除。
四种关键优化策略:
1) 重复计算:
对每个任务的逻辑或输入输出进行分析,识别出其中的加工方法及输入输出的匹配状况,当重复率达到阈值,则进行优化。
2)冗余计算
提取数据量与处理耗时的算力基线,以及数据加工输入量的合理性基线分析,发现不合理的处理逻辑。
3)低价值计算:
评估数据的价值,如果数据集无价值则停止执行。
4)调度不合理:
判断上下游业务的执行时间是否合理,根据业务的类型来判断选择 N+ 1 或者实时业务 。
(一些分析性业务,不需要实时展出的,往往是N+1 ,而一些需要实时反馈的,比如推荐,则需要用实时分析模型)
10.4.3 数据中台成本账单监管
需要按照业务部门,根据存储资源、计算资源来进行统计,控制成本。
10.5 数据中台运营的实践经验
10.5.1 全员具备数据中台意识是数据中台战略开展的基础保障。
10.5.2 数据中台一定要以场景需求为导向。
10.5.3 运营中台本质是对各部门需求及资源的盘活。
业务、产品、研发、数据团队配合示意图
看到334页,明天继续。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。