大家好,2017年我有幸成为CDA持证人,就此开启了自己数据人转型之路,一路学思维、学技术,并成为了我们公司数字化转型的推行负责人,以下是这几年工作中的一些思考。供同行参考,指正!
思考一:企业为什么要数字化转型
先说结论:企业数字化转型是一个运用技术和数据对企业业务持续优化的过程,这是所有企业提升效率的必由之路。
然而很多企业并未搞懂数字化转型是干什么,就大张旗鼓的搞起数字化,以下误区对比您的公司看看有没有:
云、大数据、人工智能等。而往往许多公司就是被这些高大上概念吓退的。
简单点说,
举个例子:
每个企业都在做的各种满意度调查,传统的做法是,列问题,发问卷,抽样统计,出结论。至多就是通过问卷星等等从网络进行填报,本质是一样的。得出的结论往往是片面的,比如问您对食堂的饭菜满意吗?对您的领导打几分?您计划在本公司工作多少年?放心,我预测基本都是满意,满分,终身。但这是实际答案么。尤其是受访者身份会暴露的情况下,通过问卷调查的方式是不可能得到正确答案的。
那么数字化是怎么做的呢:
公司有员工每天的用餐刷卡记录,也有每天的人员出勤记录,将吃饭人数除以出勤人数得到一个比值,这个比值越高就说明食堂的满意度越高。这是一个极其简化的例子,但已经包含了数字化转型的大部分内容。
这个例子中,食堂吃饭记录,考勤记录各自都是一个数据孤岛,当他们可以在一定范围内整合,那就是云的概念了,云其实就是打破了物理界限的存储。单独一条用餐记录,出勤记录是没有任何意义的,但大量的数据是必有规可循的,这就是大数据。通过数据计算出指标,就是人工智能,就是算法。解决简单的问题需要简单的算法,比如上例中的除法运算。解决复杂的问题需要复杂的算法,也就是人工智能,比如AlphaGo用到的神经网络算法。
所以我说,数字化是一种思维,而并非技术。转型的成败在于企业中的大多数人是否具有这种思维。
数字化是帮助业务部门用技术手段构建新型的作战平台,是发自各业务内心的,打通各业务板块,解决各业务问题的。
我经常用上帝视角来形容数字化转型,站在云端,伸手可及的数据,加工成需要的业务指标。
我有一个朋友需要总体掌握工厂的废品情况,而不单单是废品率。其实就是希望能自动化生成一张图表并进行预警。这张表需要的数据来源于公司各个部门,生产数据,出入库数据,发货数据,定额数据,废品数据,采购数据,财务数据等等。公司规定废品单件的损失需要质保领导,财务领导签字审批后,才能将数据给业务人员。最终的结果就是,及时的预警变成了月报表材料。看,部门的壁垒加上看似合理的制度成了推行数字化转型的壁垒。
所以我说,数字化转型还真是非企业一把手推行不了的。
有一句话叫“任何伟大的产品都来自一个伟大的问题”。现在企业在谈数字化的时候,往往忽略了要解决的问题,谈的都是别人家的概念。
我见过一个企业的老板,说要对自己的小公司进行数字化改造,买了ERP对资源进行管理,买了大屏给员工展示项目进度。一年后,系统荒废,因为整个采购过程是老板娘一手主办,除了入库没有什么需要协作的工作。大屏成了播放企业宣传片的工具,还得配一个人专门去维护项目进度耗时耗力。试问,公司数据化转型到底是为了解决什么问题?
数字化转型,不是简单的引进新技术,新设备就能完成的。目标多少年数字化转型成功的,绝对傻子,保证多少年数字化转型成功的,无疑是骗子。
我的观点,数字化的终极目标就是解决固定的问题。
数字化带来的效率提升,可以让效率真正成为企业竞争力的核心,将成为企业的护城河。
所以企业为什么要进行数字化转型?因为这是提升效率的必由之路,成败的关键在于业务问题和人,最终目的是使公司的产品、流程更简单、更愉悦、更快捷、体验更好。
“路非自行不知远,事非亲历不知难”
企业数字化转型,必须是因人而异,每个企业的转型过程是不一样的,转型的结果必然也不一样。
思考二:数字化转型的目标,基础,过程
下面来谈谈数字化转型的目标,或者说数字化转型后组织会成为一个什么样的状态?
在复仇者联盟中有这样一段场景,蚁人缩小后通过缝隙进入钢铁侠战甲,战甲检测到异物侵入,进入预警状态,当蚁人徒手撕扯一根电线时,系统自动判定蚁人具体位置,并自动启动冲洗装置,将蚁人从战甲中冲洗了出去。
其实,在我认为,数字化转型成功的企业和钢铁侠的战甲一样,是一个数字化的“智能体”。
组成这个智能体的每一个细胞都有相关联的数据链接,能即时感知并调用,也就是全量全要素的连接和实时反馈。
最终进化成这样一个“智能体”,可以说是每一家企业数字化转型的终极目标。要完成这个终极目标,道路极其曲折和漫长,但做所有事情的基础就是—全量全要素的连接和实时反馈。
怎样进行全量全要素的连结呢,接下来我要给你介绍一个所有企业都适用的模型,不管你是制造型企业,还是服务型企业,都可以参照这个模型来做全量全要素的连接。
就拿造车举例:
如果需要你来设计采集的数据,你会选择哪些维度呢?
一般都是以下数据,排量、功率、扭矩、马力、轴距等等,这些数据仅仅只是一个环节的局部数据。
我认为,这些数据远远不够,你必须要从这个产品的设计、制造、销售、后期服务一整个流程上去完成全量全要素的采集和连接。
比如汽车的、颜色、轮毂尺寸、理论速度、理论油耗、内饰颜色等性能参数,这些都是在设计环节的数据。
汽车是在哪个厂,哪条产线上生产的,核心零部件是哪里生产的,流程的操作员是谁,检查员是谁,组装时具体用了哪些物料,这些物料的属性有哪些,这是制造过程产生的数据。
车被谁买了,买家的年龄,性别,职业,首次买车or换车,贷款or全款等等,销售员数据,销售员销售过程怎样,这是销售过程数据。
买家维修记录,故障数据,对车的内外饰改装记录,甚至开车习惯记录,这是汽车后期服务记录。
关于业务对象的采集和连接,有一个概念叫“数字孪生”,我以前称为“数字镜像”,这不是个新概念,喜欢编程的同学都知道“面向对象编程”,就是将实际的业务对象抽象成系统中的一个虚拟对象,也就是在数字世界里建一个一模一样的模型。有了这个虚拟体,现实世界里很难做的事,你就切换到数字世界里去看它的虚拟体。所以所谓的全连接全采集的过程,就是根据采集现实世界的数据,生成一个数字平行世界,通过数字平行世界得到的经验来指导真实世界,再次收集真实世界的真实情况,再次优化数字平行世界,如此循环。笔者在传统制造业供职多年,制造业的持续改进理念和这个非常类似。所以说,数字化转型并不是什么高大上的东西,只是使用的工具不同而已。
举个例子,数字化时代可能出现这样的场景,比如一汽造车,可以一辆样车都不生产就直接生产商用汽车,因为有数字化的手段去完成所有的测试、仿真,碰撞试验等,把复杂度极高的汽车直接还原出来。
这就是对业务对象进行数据采集的标准:把全量全要素的数据都采集和连接好了之后,要看这些数据是不是能够还原业务对象的全貌,是不是真的拥有了一个数字孪生兄弟。
当然,完全还原对象全貌是理论上的,现实中只会越来越接近,不会等于。但好在,现在信息的存储成本是极低的(此处主要指可用于分析的结构化数据),一个excel表都能存100多万行呢,不用为了取舍是否该保存某项信息而焦虑,垃圾信息里可能隐藏着诱人的宝藏,就好比一个人说红旗车好,你可以忽略,认为这就是情怀驱使,但一群人说红旗车好,那你就应该考虑这车是不是真有点意思了。
接下来,当数据全量全要素的连接后,怎么样确保系统做到了实时反馈?
答案也很简单,你可以看这套系统是否具备了7项职能:预测、预警、监控、协同、调度、决策和指挥。
还拿生产汽车来说,通过连接渠道、用户、广告投放量等这些维度的数据,就可以综合预测出新车第一批的产量,这是预测职能。
数量定了,就进入排产制造环节,现在因为工厂里所有的产线都是智能化生产线,不太需要人工干预,但是也会监控,比如监控产线的投料情况、运行情况等等,这是监控职能。
这些数据收集过来之后就可以用于风险预警,比如扫描物毛坯码,发现型号错了,产线会自行判断装配关系不成立,给生产人员发预警信息,提醒需要人工干预,这是预警职能。
接下来,产品的制造信息也会和供应、物流协同起来。在成品数量满足一定量时自动调配物流车,生产完就直接装车运输,节省了存储环节。在这个过程里,协同、调度、决策、指挥几个维度的职能都有体现。
将汽车生产的原料方、供应商、总装厂,销售等等全量全要素连进来了,也建起实时反馈系统了,最终会实现什么样的效果?
假设汽车在使用过程中发现任何一个元器件有问题,此元器件在连续工作20小时以上会有较大自燃风险,我们就可以及时查询到同批次的原件都安装到哪些车里,现在车在哪些环节里,有多少已经销售给用户,调取用户的使用数据,针对不同用户对车的使用习惯给定特定的处置方案,例如:对频繁使用的车辆可以采取专人上门服务,对不频繁使用的车辆可以用优惠券的形式引导顾客提前来4S店保养时维修等。从而将损失降到最低。甚至可以反向追溯元器件的问题,出问题的元器件是哪个供应商,原材料是什么,同样的原材料是否影响到其他的元件。
这是一些优秀的汽车企业正在做的一些事。
可想而知,大多数企业离“智能体”还差的很远,但值得强调一点,任何想做或者要做数字化转型的企业,都要把“智能体”当做自己的终极目标。如果没有这个愿景,那么企业就很容易成为坐在数据的金山上喊穷的富人。其实很多企业都拥有大量丰富的数据,或有意识也有财力去采集大量数据,但恰恰缺少通过有效的数据治理来形成数字化“智能体”的能力,采集数据绝大部分是技术活,可以通过花钱请人搞定的,但数据治理能力很难外委,因为同时具备业务能力和IT思维的人不多。绝大多数公司都将数字化转型当成了项目,最终做成了一个能显示几个主要指标的大屏幕,做成了面子工程。
下面举再举个例子,说明这个“智能体”是一步一步进化而来的。
案例:
社区中的孤寡老人的管理
level 1,社区人员定期拜访,但人手不足,成本高,真发生意外发现时间过晚
level 2,客厅里安装监控,社区人员抽查监控,但涉及老人隐私问题,推行较难
level 3,为住户安装智能水表,当每日的用水量小于一定值时,自动发出报警,提醒社区人员干预检查。效率大大提高,但当老人外出后,用水量小,电话没人接,社区服务人员无法判断,撬门还是不撬门
level 4,连接电梯的视频数据判断老人是否外出
level 5,持续改进
你看,所谓的全量全要素的连接也只是一种理想状态,现实中无法在设计时就考虑到所有的要素数据连接,而是在实际场景中,一步一步卷入了更多的设备和人,持续改进。
所谓数字化转型只有起点,没有终点,正是这个意思。
思考三:数字化与信息化的关系
了解了数字化转型的目标后,我们来探讨下转型的过程,其实也很简单,就是瞄准业务行动。
说起数字化转型,必须得提信息化,这也是很多人问我的问题,那么信息化和数字化有什么区别呢,我试着解释下!
在信息化以前,信息的载体主要是纸张,决策者要想全面了解信息,又没有全量处理信息的能力,所以只好通过科层制组织架构,层层汇总数据、层层上报信息,这样信息极易衰减、失真、甚至篡改。
信息化,通过网络传输数据、数据库存储和处理数据,决策者就能全面快捷掌握业务信息,有利于快速采取对策,所以信息化的指向是决策。但是,这样的信息化实质是把原来纸质载体上的内容信息,变成网络能跑的数据、文字、图片、影像等数字形式信息,业务流程本质并没有根本性变化。
数字化,是“万物数化、万物互联”,是卷入流程链条上所有人、物、事,极大提升效率、优化体验。数字化的终点是直接行动。
以下这个简单的标准来判定您公司处于哪个阶段,您可以对号入座:
如果数据的采集大量来源于手工的誊抄,然后汇总到专人处理,这个专人的Excel功力深厚,公司的汇报形式以PPT为主,实行层层上报制,定时汇报制,这属于前信息化。
如果数据的采集大部分来源于自动采集或底层人员的业务流水,通过平台系统数据清洗,建模,以业务驾驶舱模式指导决策,能即时发现并处理问题,属于信息化。
如果数据的采集大部分来源于自动采集或底层人员的业务流水,打通各环节数据,依据算法,达到提醒、预警、建议、自动行动,是数字化。
因此,我们要对数字化转型建立的第一个新的认知是:
“数字化不是信息化,数字化是直接行动。”
你可以想象这样一个场景,交通管理中心的大屏幕,上面有N多的屏幕摄像头循环监控着各个交通路口,屏幕前方是几十至上百人的办公卡位,当某个路口车流增大,办公人员就会电话通知交警前往指挥交通,这是信息化的解决方案。
那么数字化是怎样的呢?当摄像头检测到东西向车流变大时,便自动调整路口红绿灯时长,让东西方向绿灯长一些,然后再将路况信息上传至交管中心云服务器,并被导航地图软件调用,反馈至每一个用户APP,提示绕行。同时设置当拥堵达到一定程度时报警提醒交警是否实地介入,这就是数字化的方案。
所以,信息化不是数字化,数字化是直接行动。
再举个一般公司都会遇到的场景,每个公司都有大量的采购业务,一般ERP的对应流程是人提采购申请,人审批,人下订单,人维护入库,人维护出库,全程留痕,这是信息化的解决方案。数字化的方案呢,从客户订单开始,整合产品库存、在制品量、现生产量、产品定额、物料库存、物料订单、到货期、物料入库、物料出库数据,自动给合作供应商发送一条信息,“请贵公司于2021年6月22日将液体树脂胶HQ300(物料编码HT25487)送达XX公司,结算价格按照上次价格XX元结算。”
所以,信息化提供的是一大堆的信息,指向决策,而数字化指导行动,甚至直接行动。
我们需要建立的第二个新的认知是:
“数字化的过程将卷入所有的业务流程,只要开始就不会结束”
什么是业务流程,是为达到特定的价值目标而由不同的人分别共同完成的一系列活动。简单说就是“人用工具干事”。
因此,卷入流程实际就是卷入更多的人及更多的物。
卷入更多的人。
数字化的本质是从信息采集到智能化的行动,数字化系统不只是决策者能用,而是产业链上的所有人都能用。
再回到我们前面提到的城市交通管理的案例。
那块布满整面墙的大屏,只是为少数决策者服务的,也就是交管中心警察的决策工具。
数字化转型后,我们开发出了新的地图导航系统,这个系统可以让每一个使用城市道路的人用,无论是司机还是上班的普通市民,每个人都可以利用地图App进行导航。
再举个简单的例子:
我公司过去产品出厂后基本失控,甚至连数都统计不准。后来自研了一套简单的物流系统,出厂后以整箱二维码为唯一标识,每一个业务环节都是扫码确认,对出厂后的物流各个环节的数量算是统计准确了。
后来因客户发现质量问题,需要增加一个功能,就是当客户处发现某一件产品有问题时,可以对产品实施精准追溯,外服人员可以对同属性的产品(比如同一时间段,同一模具号等)进行一键封存,封存的物资没有办法流入下一环节。因此增加了产品激光打码功能,装箱时自动记录箱码和产品码匹配记录。
再后来,由于质量部门并不负责组织发货,发生质量问题导致仓储部门临时组织配货,抱怨严重。因此需要根据客户的收货情况,外部质量情况来修正发货计划。这样,系统中又加入了发货计划提醒功能。
再后来,发货计划的修改,又导致了生产计划的变动,便加入了生产计划提醒功能。
接着,由于生产计划的变动,导致了采购部门的抱怨,一环一环,最后对接了公司内部物料采购系统。直接修改了物料的采购申请计划。
看看,原本只是为了掌握出厂后的产品数量而设计的流程系统,但却逐步卷入了客户,外服,质保,仓储,生产,采购等各个环节,无一幸免。
数字化转型对企业就是这样,它并不只是让一家公司的CEO用,或者只让一个生产车间的负责人来用,或者是让一些专业人士来用的,而是企业内部生产线上的每一个人,上下游供应链上的每一个人,都可以利用这个系统,来给自己的业务提供决策参考。也就是说,产业链上的所有人都被卷进了数字化系统里了。
卷入更多的设备
数字化在应用层不仅卷入越来越多的人,还要把越来越多的设备也卷入进来。也就是万物互联。
我们还是回到一开始说的城市交通管理的例子,一开始只是警察通过监控信息大屏来监控交通拥堵,再往下一步就是手机导航应用,每一个人都成为了决策和应用的主体。但这些就是数字化的最终结果了么?当然不是,如果把城市交通的全价值链打通,未来就应该和路上跑的每一台汽车联通,不用导航,汽车直接就能把我送到我想去的目的地,这也就是自动驾驶。这是最终结果了么?当然不是,必然自动驾驶会卷入了你的智能穿戴设备,智能家居设备,而给你更好更优的体验。
所以,数字化是一个软硬件设备不断被卷入的过程。在智慧交通的场景里,数字化先是卷入了基础的道路交通系统,然后再变成手机上的应用,再往前一层就要卷入汽车和硬件厂家,数字化也在这个过程中得到深化,并且一步一步将所有设备卷入其中。
思考四:数字化转型必须一把手亲自干
其实我认为最难最难的,数字化转型成败的关键,那就是一把手的作用。
《华为数据之道》一书中总结数字化转型过程中,有三张图只存在一把手的脑袋里,别人没法替代。大家可以在网上搜一搜。
简述一下文中的内容:
文章阐述为什么数字化必须由一把手推进,因为有些东西只能跳出来,站在中立的角度来看待,才能知道什么是对组织真正带来价值的内容。这个角色,谁都不行,只能是一把手。
文中提到三张图:
第一,用户价值图,这是对外,要理解你的用户;不同的部门,对用户价值的理解角度不一样,生产部门觉得是低价,质保部门部觉得是服务,但是怎么可以兼顾价格和价值,需要一把手来衡量做取舍。
第二,业务演进图,这是对内,要理解你的业务方向;人都是利己的,谁都想要为自己和自己的部门争取更多的资源和权限,资源和权限的争夺就是零和游戏。怎么平衡,并且推进业务展,需要一把手来拍板。
第三,架构生长图,这是对未来,要理解企业终将变成什么样?这其实跟企业的愿景相关,很多短期目标和长期目标是不匹配的,但是短期目标达不到就关乎生死又怎么办?谁能有这个魄力说一定要这样干,哪怕做出很大的牺牲。
文章其实是在说人性,用户价值,业务方向,架构生长,这并不是多么玄乎的事,但是因为人有了不同的组织身份就有了不同的诉求。怎么跳出人性的自私和惰性,怎么延迟满足,怎么从一而终,对任何一个人,真的都是一个挑战。
这篇文章真的很精炼,那我只是补充下我的一点拙见。
拙见一、完全认同数字化转型“一把手必须亲自干”
扎克伯格说“80%的企业文化由创始人决定”,文化是一把手塑造的,而且是需要长期经营的。这里有两个关键词,一把手塑造,长期经营。
数字化转型成败,首要转文化。因为只有分享和乐于奉献的企业氛围才是数字化生长的优良土壤。
我们已经知道,转型的基础就是数据的打通,而传统企业大多数的组织机构都是职能部树状结构,犹如一根根高耸的烟囱一样,屁股决定脑袋,这是人性。抛开技术能力不说,每个部门也基本都是各自为战的,每个团队都只关注自己领域的事,能力无法沉淀及互通。
企业与企业之间的壁垒更是如此,如果数据没有充分地共享,那业务流上就有一个个断点。那么及时响应,快速迭代啊,都因为这些断点没法实现。数据不能有效地流动和共享,就不能发挥数字化的价值。
数字化转型必须转文化,转的就是这种各自为战、不开放共享的文化。
但人性本就是自私的,共享这个事是反人性的,因此我们的所有手段都应该瞄准人性,促使员工自发的去分享。提升的是企业知识管理的能力。
拙见二、企业的知识管理是一个大事
其实很多公司现在也有了知识管理的平台,但大多都存储各种标准,总结,纪要,文档等等,留存的都是高度浓缩的结论,这个应该叫应知应会比较合适。而关于知识,知识本身只是知识的一半,还有一半,是它当时解决的那个问题。知识的管理一定要瞄准,什么时间发生了什么事,为什么这么做,也就是重现员工的思考过程,这个以论坛帖的形式应该是不错的选择。
有一个经典的案例:
电脑键盘,天天都用,但是你想过没有,键盘上的那些字母,为什么是QWERTY,乱排一气,而不是ABCDEF?而且所有的键盘都是这样排列的。
答案是,1.科学家经过研究设计的符合“人体工程学”的排布;2:错乱的排序可以降低打字速度,从而适应早期电脑较差的性能。你会认为哪个呢?
其实两个都不对,真实的情况是,老式打字机的主体部分是一个键盘(上图),然后每个字母键的下面连一个杆儿。一按这个键,就驱动一根小棍上弹,打到前面的纸上。发明键盘的是一个美国人,叫肖尔斯。他一开始设计的键盘就是按ABCDE排的,但很快发现一个问题,就是如果相邻两个键几乎同时按下去,会有相邻两个棍弹出去,它们很容易卡在一起,这就麻烦了。所以肖尔斯就把英语中经常用到的那些字母,在键盘上分开了,分成了我们现在用的QWERTY布局。就这么简单。
后来技术改进了,不存在卡一起的问题了,但是键盘本身的排列却定下来了。
你看解决方案留下来了,但是它解决的那个问题却被遗忘了。
那么华为是如何将知识原汁原味的传承下来的呢?
10年前的华为,大都也是单兵、精兵,能力在个人身上,没法沉淀。留下的也大多都是标准操作等等。
华为通过近10年时间建立起来了类似微博论坛的全球知识分享平台。平台上的方案,成果,经验以及遇到的坑都有对应的版权,有人评论、有人点赞,就会得到相应的分数,分数高的公司会给予你荣誉和奖励。这套评价体系里有一个挺巧妙的心思在里面,衡量开放共享的方式,用的是别人调用了你多少次,而不是你分享了多少东西。细品!反正阿里巴巴也效仿了这种做法。这样经验丰富的专家通过数字化的方式,把个人能力沉淀并分享出来,成为公司整体的能力。也帮公司形成了共享的氛围,原先谁有一个好东西都得藏着掖着,现在有一个好东西,恨不得立刻分享出来,昭告全球。
其实这还只是传统知识管理升级版,因为有很多隐性知识不能用文字准确表述和转载,任正非说过“公司最大的浪费就是经验的浪费”,华为怎么做的,华为还为员工共享了一份精准的“知识地图”。沿着这份地图,每个人都能找到对的人,同样可以很好地学习、解决问题。
最后,知识在华为,要么沉淀在了平台上,要么沉淀在了一群华为人中。
呜呼哀哉
笔者供职国有企业,对国企数字化转型还是有挺大的疑虑或遗憾。国有企业任何重点工作都是一把手挂帅,虽是一把手挂帅,但是否真的是“一把手亲自干”呢?这是一个未知的问题。我看到的无外乎成立领导小组,工作小组,但真在干的时候是没见过领导的面的。因此也无从知晓一把手心中是否有文章中提到的“三张图”。毕竟,作为国有企业的一把手,也只是在企业中打一份“高级工”而已,任期绩效就像达摩利斯剑一样悬于头顶,短期目标无法达成就可能面临换人的风险,又谈何牺牲自己达到长期目标的实现。因此,可能在大多数的国企,即使一把手心中真有这三张图,但与现实的冲突也是必然的,因为这三张图都是针对公司未来的长期发展。更何况,绝大多数的一把手根本不具备这样的素质。因此也只有对企业长期目标抱有坚定不移的信念,并无畏投入的一把手才能带领企业走向生存。
按照这个思路,民营企业且创始人思想融入企业愿景中的企业才有可能成功,而国有企业几乎是无法成功的。可以说99%的企业都不会成功。而数字化转型是企业发展的必由之路,由于马太效应,未来极有可能在各行各业只有头部的几家龙头公司能够生存。
悲兮痛兮
以上便是我对数字化转型的一些思考。尽管最后得出的结论是数字化转型几乎99%的企业是无法成功的,但企业员工具备数字化的思维和一些相关的技能,对企业的效率提升还是十分巨大的。
那么接下来我们来谈一些实战行动及技术方面的问题。
优化组织机构:
1.成立业务技术一体化的组织。就是把技术能力建在业务上,为业务部门配备技术人员,使其成为具体业务部门的一部分,形成一种长期固定的组织形式。因为人在哪儿,能力就在哪儿。职能部组织和项目型组织之所以没办法在数字化转型中发挥作用,就是因为忽略了这一点:能力是长在人身上的。而业务技术一体化的组织是目前华为探索10多年后,形成的最好的一种组织方式。这种组织模式下,能力不是封闭固化的,而是在不断生长的。
职能部组织和项目型组织的缺点可以自行度娘。
2.成立公司级的数据管理部门。由各个领域的专家组成,发布企业数据管理总纲,编制数据质量管理政策和数据源管理政策,定期专门对数据架构进行评审,确定数据所有权,确定数据互通的规范等。
数据是资产,数据是资产,如果没有这样一个组织,那资产连个管理部门都没有,好意思说数据是资产吗?
这个组织承担的最大的职责就是建立架构,组织数据高效互通,没想明白前绝不能贸然上各种系统,宁愿慢一点,否则就是需要花好几倍的精力去清理数据。
管理数据质量:
1.元数据管理:元数据就是用来描述数据的数据,这个十分重要,比如生产班次数据,定义为B、C、A,分别代表白班、夜班、三班,这才使得BCA有了意义,而一旦定义好后,存储C就代表夜班,不能再随便更改,不能是C班,也不能是二班。这必须由对应的业务部门承担管理责任,而大多数企业都不重视这个。重申,这个非常非常重要!
2.“一数一源,用而不存”:标准化数据是不同业务流程间相互交流的业务语言,对一个数据定义完成后,其他系统的调用只能从这个数据的源头调用。这个非常非常重要。实际上在绝大多数公司,明面上是数据源由单一部门管理,而存储时转手部门过多,实际调用时数据的真实性和准确性根本无法保证。举个例子,本公司产品二维码编码规则末尾两位代表产品模具号(元数据概念),有一张对照表存于开发部门数据库中,其中45代表B产品12号模具。生产部门调用时将45这个数解读成B产品12号模具,存储在生产数据库中。这样,45就可能误解成12。中间经过转储的过程越多,数据的丢失和改变也就越多,最终使得不同业务部门之间对同一对象的描述不一致。
3.数据类型:主要就是文本、数字、日期等类型,按照业务类型设置,该是什么类型就选择什么类型,很多企业不重视数据类型的管理,基本都是文本类型,举个例子,将日期存储为文本类型,导致数据库里存储了大量的不是日期的日期(比如2021-01-35),后期在数据聚合分析时,经常报错。
4.ER模型:也叫雪花模型,实体关系模型,提供了表示实体、属性和联系的方法,是描述现实世界概念结构模型的方法。实体对象之间的联系方式通常为一对一,一对多,多对多等。这些概念十分重要且基础,严格按照这种方法设计信息系统,会避免大量冗余。且ER模型是数据建模分析的基础,在数据分析的各个环节都是必不可少的理论基础。
5.主数据编码:公司的核心实体对象一定要编码,编码规则可以由公司自行设计,只有编码后的对象,才能成为数字世界里面现实对象的孪生对象。这个不难理解,人的身份证号就是人的实体对象编码,在数字世界里身份证号代表人的唯一实体,并参与到数字世界的业务运行中,而不是人的姓名。
很多公司辛辛苦苦开发系统,创业未半而中道崩殂,大体就是以上对象管理不到位引起的。这也是我在工作中经常遇到,耗费大量时间去处理的事情,其实都是些脏活累活体力活,系统设计时若考虑足了以上问题,将为后期不断拓展卷入更多流程提供方便。
数据治理能力并不是什么高大上的概念,只要企业具有良好的数据素质,不断打磨适合企业的数据标准。就可以开发出适合自身的数字化系统。也就是说数据治理是个标准的管理问题。
学习数据工具:
以下内容主要针对企业业务提效,掌握的人越多对企业越有利。
数据采集
互联网是当今世界最大的数据库,如果学会爬虫技术就可以在网络里采集你需要的数据,并及时将数据保存至本地,参与到您公司的业务流程中。
常见的非编程爬虫软件有:八爪鱼采集器、简数采集器、后羿采集器等,基本都是拖拖拽拽就可以形成采数规则,非常友好,可以满足80%的使用场景,进阶需要学习一些HTML标签,及Xpath定位技术。再升级就是用编程语言写爬虫了,推荐Python。
Regular Expression,简写RE,是对字符串操作的一种逻辑公式,就是先定义好一些特定字符的组合,然后用这种组合代表的规则对字符串进行过滤的逻辑。主要用于对文本输入的合规性检测,在数据入库前进行把关,从而使得入库数据干净整洁,满足要求。比如“^d{n}$”用来限制只能输入n位的数字。
这里主要需要学习的就是SQL语言了,99%的语法在各数据库是通用的。如果业务人员掌握了简单的SQL,那在后面提到自助分析时将如鱼得水。
为了得到一份可供分析系统使用的质量良好的源数据,必须进行数据清洗(ETCL,
Extract-Transform-Clean-Load),此过程是将业务系统的数据经过抽取、转换、清洗之后加载到数据仓库的过程。ETCL是数据集成的第一步,也是构建数据仓库最重要的步骤,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为下一步建模分析做好准备。
大多ETCL工具都集成在分析工具中,我理解ETCL其实是一种使不规则数据变为规则数据的方法,并非单指清洗工具。
比如数据库里的视图功能,你可以将表中数据通过各种函数加工成可供分析的数据形式。
在清洗过程中,如果能懂一些统计学基础知识是极好的,比如平均值,标准差,中位数等等(CDAlevel1的主要内容哦),这些函数是个工具都自带。有一次成都政府调查我们公司员工收入时就要求分类填写中位数,可难坏了我们HR。
ETCL工具,个人使用推荐Excel的powerquery,在2016版本后直接集成在了Excel中,无需单独安装,重要性不言而喻。它可以从各种数据库,文件中抽取数据,可视化的操作过程让数据清洗变得十分简单。
报表系统
个人使用,推荐Excel power pivot,2013以后版本的Excel直接集成了此插件,用DAX表达式(和Excel函数几乎一模一样)进行简单的数据清洗,拖拖拽拽就完成了数据建模,最终以数据透视表的形式进行OLAP多维分析。Excel基础还可以的同学学习这个毫无压力。(CDAlevel1换证考试的最后两个大题就是写DAX表达式)
团队使用,推荐Finereport,低代码编程,完全可以定制设计一整套企业解决方案。设计界面类似Excel(函数基本和Excel函数一样),如果你的Excel功力还可以,SQL功力十分强悍的话,学这个也毫无压力。
自助分析系统(BI)
又称敏捷商业智能系统,让业务人员可以自由在数据中探索的系统。
举个例子,当业务人员需要分析废品率与哪些因素有关系时,传统的做法是先依据经验或专业理论,猜想可能原因,比如温度湿度,然后采集一段时间的数据,最后做成散点图,求相关系数。而BI是怎么做的呢?你可以打开BI软件,用SQL调取温湿度数据,再调取废品率数据,做成散点图,自动求相关系数,听起来差不多一样,但如果你好奇心强,你可以将企业运行所有数据拿来和废品率求相关性,比如拿材料的化学成分,机械性能数据,甚至是员工出勤率,食堂用餐人数,拖拖拽拽看和废品率的相关关系。从而找到可能突破点。耗时几分钟而已,这在传统的分析里是无法想象的。有些朋友可能已经听出来了,我说的就是探索式分析。我认为BI就是为业务人员探索式分析而生的。
BI 常用工具
BI,是未来的趋势,我相信会越来越受到管理层的重视。
万能工具Excel
在上述工具中已经多次提到了Excel,这是学习以上工具的基础,因为:
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16