大家好,2017年我有幸成为CDA持证人,就此开启了自己数据人转型之路,一路学思维、学技术,并成为了我们公司数字化转型的推行负责人,以下是这几年工作中的一些思考。供同行参考,指正!
思考一:企业为什么要数字化转型
先说结论:企业数字化转型是一个运用技术和数据对企业业务持续优化的过程,这是所有企业提升效率的必由之路。
然而很多企业并未搞懂数字化转型是干什么,就大张旗鼓的搞起数字化,以下误区对比您的公司看看有没有:
云、大数据、人工智能等。而往往许多公司就是被这些高大上概念吓退的。
简单点说,
举个例子:
每个企业都在做的各种满意度调查,传统的做法是,列问题,发问卷,抽样统计,出结论。至多就是通过问卷星等等从网络进行填报,本质是一样的。得出的结论往往是片面的,比如问您对食堂的饭菜满意吗?对您的领导打几分?您计划在本公司工作多少年?放心,我预测基本都是满意,满分,终身。但这是实际答案么。尤其是受访者身份会暴露的情况下,通过问卷调查的方式是不可能得到正确答案的。
那么数字化是怎么做的呢:
公司有员工每天的用餐刷卡记录,也有每天的人员出勤记录,将吃饭人数除以出勤人数得到一个比值,这个比值越高就说明食堂的满意度越高。这是一个极其简化的例子,但已经包含了数字化转型的大部分内容。
这个例子中,食堂吃饭记录,考勤记录各自都是一个数据孤岛,当他们可以在一定范围内整合,那就是云的概念了,云其实就是打破了物理界限的存储。单独一条用餐记录,出勤记录是没有任何意义的,但大量的数据是必有规可循的,这就是大数据。通过数据计算出指标,就是人工智能,就是算法。解决简单的问题需要简单的算法,比如上例中的除法运算。解决复杂的问题需要复杂的算法,也就是人工智能,比如AlphaGo用到的神经网络算法。
所以我说,数字化是一种思维,而并非技术。转型的成败在于企业中的大多数人是否具有这种思维。
数字化是帮助业务部门用技术手段构建新型的作战平台,是发自各业务内心的,打通各业务板块,解决各业务问题的。
我经常用上帝视角来形容数字化转型,站在云端,伸手可及的数据,加工成需要的业务指标。
我有一个朋友需要总体掌握工厂的废品情况,而不单单是废品率。其实就是希望能自动化生成一张图表并进行预警。这张表需要的数据来源于公司各个部门,生产数据,出入库数据,发货数据,定额数据,废品数据,采购数据,财务数据等等。公司规定废品单件的损失需要质保领导,财务领导签字审批后,才能将数据给业务人员。最终的结果就是,及时的预警变成了月报表材料。看,部门的壁垒加上看似合理的制度成了推行数字化转型的壁垒。
所以我说,数字化转型还真是非企业一把手推行不了的。
有一句话叫“任何伟大的产品都来自一个伟大的问题”。现在企业在谈数字化的时候,往往忽略了要解决的问题,谈的都是别人家的概念。
我见过一个企业的老板,说要对自己的小公司进行数字化改造,买了ERP对资源进行管理,买了大屏给员工展示项目进度。一年后,系统荒废,因为整个采购过程是老板娘一手主办,除了入库没有什么需要协作的工作。大屏成了播放企业宣传片的工具,还得配一个人专门去维护项目进度耗时耗力。试问,公司数据化转型到底是为了解决什么问题?
数字化转型,不是简单的引进新技术,新设备就能完成的。目标多少年数字化转型成功的,绝对傻子,保证多少年数字化转型成功的,无疑是骗子。
我的观点,数字化的终极目标就是解决固定的问题。
数字化带来的效率提升,可以让效率真正成为企业竞争力的核心,将成为企业的护城河。
所以企业为什么要进行数字化转型?因为这是提升效率的必由之路,成败的关键在于业务问题和人,最终目的是使公司的产品、流程更简单、更愉悦、更快捷、体验更好。
“路非自行不知远,事非亲历不知难”
企业数字化转型,必须是因人而异,每个企业的转型过程是不一样的,转型的结果必然也不一样。
思考二:数字化转型的目标,基础,过程
下面来谈谈数字化转型的目标,或者说数字化转型后组织会成为一个什么样的状态?
在复仇者联盟中有这样一段场景,蚁人缩小后通过缝隙进入钢铁侠战甲,战甲检测到异物侵入,进入预警状态,当蚁人徒手撕扯一根电线时,系统自动判定蚁人具体位置,并自动启动冲洗装置,将蚁人从战甲中冲洗了出去。
其实,在我认为,数字化转型成功的企业和钢铁侠的战甲一样,是一个数字化的“智能体”。
组成这个智能体的每一个细胞都有相关联的数据链接,能即时感知并调用,也就是全量全要素的连接和实时反馈。
最终进化成这样一个“智能体”,可以说是每一家企业数字化转型的终极目标。要完成这个终极目标,道路极其曲折和漫长,但做所有事情的基础就是—全量全要素的连接和实时反馈。
怎样进行全量全要素的连结呢,接下来我要给你介绍一个所有企业都适用的模型,不管你是制造型企业,还是服务型企业,都可以参照这个模型来做全量全要素的连接。
就拿造车举例:
如果需要你来设计采集的数据,你会选择哪些维度呢?
一般都是以下数据,排量、功率、扭矩、马力、轴距等等,这些数据仅仅只是一个环节的局部数据。
我认为,这些数据远远不够,你必须要从这个产品的设计、制造、销售、后期服务一整个流程上去完成全量全要素的采集和连接。
比如汽车的、颜色、轮毂尺寸、理论速度、理论油耗、内饰颜色等性能参数,这些都是在设计环节的数据。
汽车是在哪个厂,哪条产线上生产的,核心零部件是哪里生产的,流程的操作员是谁,检查员是谁,组装时具体用了哪些物料,这些物料的属性有哪些,这是制造过程产生的数据。
车被谁买了,买家的年龄,性别,职业,首次买车or换车,贷款or全款等等,销售员数据,销售员销售过程怎样,这是销售过程数据。
买家维修记录,故障数据,对车的内外饰改装记录,甚至开车习惯记录,这是汽车后期服务记录。
关于业务对象的采集和连接,有一个概念叫“数字孪生”,我以前称为“数字镜像”,这不是个新概念,喜欢编程的同学都知道“面向对象编程”,就是将实际的业务对象抽象成系统中的一个虚拟对象,也就是在数字世界里建一个一模一样的模型。有了这个虚拟体,现实世界里很难做的事,你就切换到数字世界里去看它的虚拟体。所以所谓的全连接全采集的过程,就是根据采集现实世界的数据,生成一个数字平行世界,通过数字平行世界得到的经验来指导真实世界,再次收集真实世界的真实情况,再次优化数字平行世界,如此循环。笔者在传统制造业供职多年,制造业的持续改进理念和这个非常类似。所以说,数字化转型并不是什么高大上的东西,只是使用的工具不同而已。
举个例子,数字化时代可能出现这样的场景,比如一汽造车,可以一辆样车都不生产就直接生产商用汽车,因为有数字化的手段去完成所有的测试、仿真,碰撞试验等,把复杂度极高的汽车直接还原出来。
这就是对业务对象进行数据采集的标准:把全量全要素的数据都采集和连接好了之后,要看这些数据是不是能够还原业务对象的全貌,是不是真的拥有了一个数字孪生兄弟。
当然,完全还原对象全貌是理论上的,现实中只会越来越接近,不会等于。但好在,现在信息的存储成本是极低的(此处主要指可用于分析的结构化数据),一个excel表都能存100多万行呢,不用为了取舍是否该保存某项信息而焦虑,垃圾信息里可能隐藏着诱人的宝藏,就好比一个人说红旗车好,你可以忽略,认为这就是情怀驱使,但一群人说红旗车好,那你就应该考虑这车是不是真有点意思了。
接下来,当数据全量全要素的连接后,怎么样确保系统做到了实时反馈?
答案也很简单,你可以看这套系统是否具备了7项职能:预测、预警、监控、协同、调度、决策和指挥。
还拿生产汽车来说,通过连接渠道、用户、广告投放量等这些维度的数据,就可以综合预测出新车第一批的产量,这是预测职能。
数量定了,就进入排产制造环节,现在因为工厂里所有的产线都是智能化生产线,不太需要人工干预,但是也会监控,比如监控产线的投料情况、运行情况等等,这是监控职能。
这些数据收集过来之后就可以用于风险预警,比如扫描物毛坯码,发现型号错了,产线会自行判断装配关系不成立,给生产人员发预警信息,提醒需要人工干预,这是预警职能。
接下来,产品的制造信息也会和供应、物流协同起来。在成品数量满足一定量时自动调配物流车,生产完就直接装车运输,节省了存储环节。在这个过程里,协同、调度、决策、指挥几个维度的职能都有体现。
将汽车生产的原料方、供应商、总装厂,销售等等全量全要素连进来了,也建起实时反馈系统了,最终会实现什么样的效果?
假设汽车在使用过程中发现任何一个元器件有问题,此元器件在连续工作20小时以上会有较大自燃风险,我们就可以及时查询到同批次的原件都安装到哪些车里,现在车在哪些环节里,有多少已经销售给用户,调取用户的使用数据,针对不同用户对车的使用习惯给定特定的处置方案,例如:对频繁使用的车辆可以采取专人上门服务,对不频繁使用的车辆可以用优惠券的形式引导顾客提前来4S店保养时维修等。从而将损失降到最低。甚至可以反向追溯元器件的问题,出问题的元器件是哪个供应商,原材料是什么,同样的原材料是否影响到其他的元件。
这是一些优秀的汽车企业正在做的一些事。
可想而知,大多数企业离“智能体”还差的很远,但值得强调一点,任何想做或者要做数字化转型的企业,都要把“智能体”当做自己的终极目标。如果没有这个愿景,那么企业就很容易成为坐在数据的金山上喊穷的富人。其实很多企业都拥有大量丰富的数据,或有意识也有财力去采集大量数据,但恰恰缺少通过有效的数据治理来形成数字化“智能体”的能力,采集数据绝大部分是技术活,可以通过花钱请人搞定的,但数据治理能力很难外委,因为同时具备业务能力和IT思维的人不多。绝大多数公司都将数字化转型当成了项目,最终做成了一个能显示几个主要指标的大屏幕,做成了面子工程。
下面举再举个例子,说明这个“智能体”是一步一步进化而来的。
案例:
社区中的孤寡老人的管理
level 1,社区人员定期拜访,但人手不足,成本高,真发生意外发现时间过晚
level 2,客厅里安装监控,社区人员抽查监控,但涉及老人隐私问题,推行较难
level 3,为住户安装智能水表,当每日的用水量小于一定值时,自动发出报警,提醒社区人员干预检查。效率大大提高,但当老人外出后,用水量小,电话没人接,社区服务人员无法判断,撬门还是不撬门
level 4,连接电梯的视频数据判断老人是否外出
level 5,持续改进
你看,所谓的全量全要素的连接也只是一种理想状态,现实中无法在设计时就考虑到所有的要素数据连接,而是在实际场景中,一步一步卷入了更多的设备和人,持续改进。
所谓数字化转型只有起点,没有终点,正是这个意思。
思考三:数字化与信息化的关系
了解了数字化转型的目标后,我们来探讨下转型的过程,其实也很简单,就是瞄准业务行动。
说起数字化转型,必须得提信息化,这也是很多人问我的问题,那么信息化和数字化有什么区别呢,我试着解释下!
在信息化以前,信息的载体主要是纸张,决策者要想全面了解信息,又没有全量处理信息的能力,所以只好通过科层制组织架构,层层汇总数据、层层上报信息,这样信息极易衰减、失真、甚至篡改。
信息化,通过网络传输数据、数据库存储和处理数据,决策者就能全面快捷掌握业务信息,有利于快速采取对策,所以信息化的指向是决策。但是,这样的信息化实质是把原来纸质载体上的内容信息,变成网络能跑的数据、文字、图片、影像等数字形式信息,业务流程本质并没有根本性变化。
数字化,是“万物数化、万物互联”,是卷入流程链条上所有人、物、事,极大提升效率、优化体验。数字化的终点是直接行动。
以下这个简单的标准来判定您公司处于哪个阶段,您可以对号入座:
如果数据的采集大量来源于手工的誊抄,然后汇总到专人处理,这个专人的Excel功力深厚,公司的汇报形式以PPT为主,实行层层上报制,定时汇报制,这属于前信息化。
如果数据的采集大部分来源于自动采集或底层人员的业务流水,通过平台系统数据清洗,建模,以业务驾驶舱模式指导决策,能即时发现并处理问题,属于信息化。
如果数据的采集大部分来源于自动采集或底层人员的业务流水,打通各环节数据,依据算法,达到提醒、预警、建议、自动行动,是数字化。
因此,我们要对数字化转型建立的第一个新的认知是:
“数字化不是信息化,数字化是直接行动。”
你可以想象这样一个场景,交通管理中心的大屏幕,上面有N多的屏幕摄像头循环监控着各个交通路口,屏幕前方是几十至上百人的办公卡位,当某个路口车流增大,办公人员就会电话通知交警前往指挥交通,这是信息化的解决方案。
那么数字化是怎样的呢?当摄像头检测到东西向车流变大时,便自动调整路口红绿灯时长,让东西方向绿灯长一些,然后再将路况信息上传至交管中心云服务器,并被导航地图软件调用,反馈至每一个用户APP,提示绕行。同时设置当拥堵达到一定程度时报警提醒交警是否实地介入,这就是数字化的方案。
所以,信息化不是数字化,数字化是直接行动。
再举个一般公司都会遇到的场景,每个公司都有大量的采购业务,一般ERP的对应流程是人提采购申请,人审批,人下订单,人维护入库,人维护出库,全程留痕,这是信息化的解决方案。数字化的方案呢,从客户订单开始,整合产品库存、在制品量、现生产量、产品定额、物料库存、物料订单、到货期、物料入库、物料出库数据,自动给合作供应商发送一条信息,“请贵公司于2021年6月22日将液体树脂胶HQ300(物料编码HT25487)送达XX公司,结算价格按照上次价格XX元结算。”
所以,信息化提供的是一大堆的信息,指向决策,而数字化指导行动,甚至直接行动。
我们需要建立的第二个新的认知是:
“数字化的过程将卷入所有的业务流程,只要开始就不会结束”
什么是业务流程,是为达到特定的价值目标而由不同的人分别共同完成的一系列活动。简单说就是“人用工具干事”。
因此,卷入流程实际就是卷入更多的人及更多的物。
卷入更多的人。
数字化的本质是从信息采集到智能化的行动,数字化系统不只是决策者能用,而是产业链上的所有人都能用。
再回到我们前面提到的城市交通管理的案例。
那块布满整面墙的大屏,只是为少数决策者服务的,也就是交管中心警察的决策工具。
数字化转型后,我们开发出了新的地图导航系统,这个系统可以让每一个使用城市道路的人用,无论是司机还是上班的普通市民,每个人都可以利用地图App进行导航。
再举个简单的例子:
我公司过去产品出厂后基本失控,甚至连数都统计不准。后来自研了一套简单的物流系统,出厂后以整箱二维码为唯一标识,每一个业务环节都是扫码确认,对出厂后的物流各个环节的数量算是统计准确了。
后来因客户发现质量问题,需要增加一个功能,就是当客户处发现某一件产品有问题时,可以对产品实施精准追溯,外服人员可以对同属性的产品(比如同一时间段,同一模具号等)进行一键封存,封存的物资没有办法流入下一环节。因此增加了产品激光打码功能,装箱时自动记录箱码和产品码匹配记录。
再后来,由于质量部门并不负责组织发货,发生质量问题导致仓储部门临时组织配货,抱怨严重。因此需要根据客户的收货情况,外部质量情况来修正发货计划。这样,系统中又加入了发货计划提醒功能。
再后来,发货计划的修改,又导致了生产计划的变动,便加入了生产计划提醒功能。
接着,由于生产计划的变动,导致了采购部门的抱怨,一环一环,最后对接了公司内部物料采购系统。直接修改了物料的采购申请计划。
看看,原本只是为了掌握出厂后的产品数量而设计的流程系统,但却逐步卷入了客户,外服,质保,仓储,生产,采购等各个环节,无一幸免。
数字化转型对企业就是这样,它并不只是让一家公司的CEO用,或者只让一个生产车间的负责人来用,或者是让一些专业人士来用的,而是企业内部生产线上的每一个人,上下游供应链上的每一个人,都可以利用这个系统,来给自己的业务提供决策参考。也就是说,产业链上的所有人都被卷进了数字化系统里了。
卷入更多的设备
数字化在应用层不仅卷入越来越多的人,还要把越来越多的设备也卷入进来。也就是万物互联。
我们还是回到一开始说的城市交通管理的例子,一开始只是警察通过监控信息大屏来监控交通拥堵,再往下一步就是手机导航应用,每一个人都成为了决策和应用的主体。但这些就是数字化的最终结果了么?当然不是,如果把城市交通的全价值链打通,未来就应该和路上跑的每一台汽车联通,不用导航,汽车直接就能把我送到我想去的目的地,这也就是自动驾驶。这是最终结果了么?当然不是,必然自动驾驶会卷入了你的智能穿戴设备,智能家居设备,而给你更好更优的体验。
所以,数字化是一个软硬件设备不断被卷入的过程。在智慧交通的场景里,数字化先是卷入了基础的道路交通系统,然后再变成手机上的应用,再往前一层就要卷入汽车和硬件厂家,数字化也在这个过程中得到深化,并且一步一步将所有设备卷入其中。
思考四:数字化转型必须一把手亲自干
其实我认为最难最难的,数字化转型成败的关键,那就是一把手的作用。
《华为数据之道》一书中总结数字化转型过程中,有三张图只存在一把手的脑袋里,别人没法替代。大家可以在网上搜一搜。
简述一下文中的内容:
文章阐述为什么数字化必须由一把手推进,因为有些东西只能跳出来,站在中立的角度来看待,才能知道什么是对组织真正带来价值的内容。这个角色,谁都不行,只能是一把手。
文中提到三张图:
第一,用户价值图,这是对外,要理解你的用户;不同的部门,对用户价值的理解角度不一样,生产部门觉得是低价,质保部门部觉得是服务,但是怎么可以兼顾价格和价值,需要一把手来衡量做取舍。
第二,业务演进图,这是对内,要理解你的业务方向;人都是利己的,谁都想要为自己和自己的部门争取更多的资源和权限,资源和权限的争夺就是零和游戏。怎么平衡,并且推进业务展,需要一把手来拍板。
第三,架构生长图,这是对未来,要理解企业终将变成什么样?这其实跟企业的愿景相关,很多短期目标和长期目标是不匹配的,但是短期目标达不到就关乎生死又怎么办?谁能有这个魄力说一定要这样干,哪怕做出很大的牺牲。
文章其实是在说人性,用户价值,业务方向,架构生长,这并不是多么玄乎的事,但是因为人有了不同的组织身份就有了不同的诉求。怎么跳出人性的自私和惰性,怎么延迟满足,怎么从一而终,对任何一个人,真的都是一个挑战。
这篇文章真的很精炼,那我只是补充下我的一点拙见。
拙见一、完全认同数字化转型“一把手必须亲自干”
扎克伯格说“80%的企业文化由创始人决定”,文化是一把手塑造的,而且是需要长期经营的。这里有两个关键词,一把手塑造,长期经营。
数字化转型成败,首要转文化。因为只有分享和乐于奉献的企业氛围才是数字化生长的优良土壤。
我们已经知道,转型的基础就是数据的打通,而传统企业大多数的组织机构都是职能部树状结构,犹如一根根高耸的烟囱一样,屁股决定脑袋,这是人性。抛开技术能力不说,每个部门也基本都是各自为战的,每个团队都只关注自己领域的事,能力无法沉淀及互通。
企业与企业之间的壁垒更是如此,如果数据没有充分地共享,那业务流上就有一个个断点。那么及时响应,快速迭代啊,都因为这些断点没法实现。数据不能有效地流动和共享,就不能发挥数字化的价值。
数字化转型必须转文化,转的就是这种各自为战、不开放共享的文化。
但人性本就是自私的,共享这个事是反人性的,因此我们的所有手段都应该瞄准人性,促使员工自发的去分享。提升的是企业知识管理的能力。
拙见二、企业的知识管理是一个大事
其实很多公司现在也有了知识管理的平台,但大多都存储各种标准,总结,纪要,文档等等,留存的都是高度浓缩的结论,这个应该叫应知应会比较合适。而关于知识,知识本身只是知识的一半,还有一半,是它当时解决的那个问题。知识的管理一定要瞄准,什么时间发生了什么事,为什么这么做,也就是重现员工的思考过程,这个以论坛帖的形式应该是不错的选择。
有一个经典的案例:
电脑键盘,天天都用,但是你想过没有,键盘上的那些字母,为什么是QWERTY,乱排一气,而不是ABCDEF?而且所有的键盘都是这样排列的。
答案是,1.科学家经过研究设计的符合“人体工程学”的排布;2:错乱的排序可以降低打字速度,从而适应早期电脑较差的性能。你会认为哪个呢?
其实两个都不对,真实的情况是,老式打字机的主体部分是一个键盘(上图),然后每个字母键的下面连一个杆儿。一按这个键,就驱动一根小棍上弹,打到前面的纸上。发明键盘的是一个美国人,叫肖尔斯。他一开始设计的键盘就是按ABCDE排的,但很快发现一个问题,就是如果相邻两个键几乎同时按下去,会有相邻两个棍弹出去,它们很容易卡在一起,这就麻烦了。所以肖尔斯就把英语中经常用到的那些字母,在键盘上分开了,分成了我们现在用的QWERTY布局。就这么简单。
后来技术改进了,不存在卡一起的问题了,但是键盘本身的排列却定下来了。
你看解决方案留下来了,但是它解决的那个问题却被遗忘了。
那么华为是如何将知识原汁原味的传承下来的呢?
10年前的华为,大都也是单兵、精兵,能力在个人身上,没法沉淀。留下的也大多都是标准操作等等。
华为通过近10年时间建立起来了类似微博论坛的全球知识分享平台。平台上的方案,成果,经验以及遇到的坑都有对应的版权,有人评论、有人点赞,就会得到相应的分数,分数高的公司会给予你荣誉和奖励。这套评价体系里有一个挺巧妙的心思在里面,衡量开放共享的方式,用的是别人调用了你多少次,而不是你分享了多少东西。细品!反正阿里巴巴也效仿了这种做法。这样经验丰富的专家通过数字化的方式,把个人能力沉淀并分享出来,成为公司整体的能力。也帮公司形成了共享的氛围,原先谁有一个好东西都得藏着掖着,现在有一个好东西,恨不得立刻分享出来,昭告全球。
其实这还只是传统知识管理升级版,因为有很多隐性知识不能用文字准确表述和转载,任正非说过“公司最大的浪费就是经验的浪费”,华为怎么做的,华为还为员工共享了一份精准的“知识地图”。沿着这份地图,每个人都能找到对的人,同样可以很好地学习、解决问题。
最后,知识在华为,要么沉淀在了平台上,要么沉淀在了一群华为人中。
呜呼哀哉
笔者供职国有企业,对国企数字化转型还是有挺大的疑虑或遗憾。国有企业任何重点工作都是一把手挂帅,虽是一把手挂帅,但是否真的是“一把手亲自干”呢?这是一个未知的问题。我看到的无外乎成立领导小组,工作小组,但真在干的时候是没见过领导的面的。因此也无从知晓一把手心中是否有文章中提到的“三张图”。毕竟,作为国有企业的一把手,也只是在企业中打一份“高级工”而已,任期绩效就像达摩利斯剑一样悬于头顶,短期目标无法达成就可能面临换人的风险,又谈何牺牲自己达到长期目标的实现。因此,可能在大多数的国企,即使一把手心中真有这三张图,但与现实的冲突也是必然的,因为这三张图都是针对公司未来的长期发展。更何况,绝大多数的一把手根本不具备这样的素质。因此也只有对企业长期目标抱有坚定不移的信念,并无畏投入的一把手才能带领企业走向生存。
按照这个思路,民营企业且创始人思想融入企业愿景中的企业才有可能成功,而国有企业几乎是无法成功的。可以说99%的企业都不会成功。而数字化转型是企业发展的必由之路,由于马太效应,未来极有可能在各行各业只有头部的几家龙头公司能够生存。
悲兮痛兮
以上便是我对数字化转型的一些思考。尽管最后得出的结论是数字化转型几乎99%的企业是无法成功的,但企业员工具备数字化的思维和一些相关的技能,对企业的效率提升还是十分巨大的。
那么接下来我们来谈一些实战行动及技术方面的问题。
优化组织机构:
1.成立业务技术一体化的组织。就是把技术能力建在业务上,为业务部门配备技术人员,使其成为具体业务部门的一部分,形成一种长期固定的组织形式。因为人在哪儿,能力就在哪儿。职能部组织和项目型组织之所以没办法在数字化转型中发挥作用,就是因为忽略了这一点:能力是长在人身上的。而业务技术一体化的组织是目前华为探索10多年后,形成的最好的一种组织方式。这种组织模式下,能力不是封闭固化的,而是在不断生长的。
职能部组织和项目型组织的缺点可以自行度娘。
2.成立公司级的数据管理部门。由各个领域的专家组成,发布企业数据管理总纲,编制数据质量管理政策和数据源管理政策,定期专门对数据架构进行评审,确定数据所有权,确定数据互通的规范等。
数据是资产,数据是资产,如果没有这样一个组织,那资产连个管理部门都没有,好意思说数据是资产吗?
这个组织承担的最大的职责就是建立架构,组织数据高效互通,没想明白前绝不能贸然上各种系统,宁愿慢一点,否则就是需要花好几倍的精力去清理数据。
管理数据质量:
1.元数据管理:元数据就是用来描述数据的数据,这个十分重要,比如生产班次数据,定义为B、C、A,分别代表白班、夜班、三班,这才使得BCA有了意义,而一旦定义好后,存储C就代表夜班,不能再随便更改,不能是C班,也不能是二班。这必须由对应的业务部门承担管理责任,而大多数企业都不重视这个。重申,这个非常非常重要!
2.“一数一源,用而不存”:标准化数据是不同业务流程间相互交流的业务语言,对一个数据定义完成后,其他系统的调用只能从这个数据的源头调用。这个非常非常重要。实际上在绝大多数公司,明面上是数据源由单一部门管理,而存储时转手部门过多,实际调用时数据的真实性和准确性根本无法保证。举个例子,本公司产品二维码编码规则末尾两位代表产品模具号(元数据概念),有一张对照表存于开发部门数据库中,其中45代表B产品12号模具。生产部门调用时将45这个数解读成B产品12号模具,存储在生产数据库中。这样,45就可能误解成12。中间经过转储的过程越多,数据的丢失和改变也就越多,最终使得不同业务部门之间对同一对象的描述不一致。
3.数据类型:主要就是文本、数字、日期等类型,按照业务类型设置,该是什么类型就选择什么类型,很多企业不重视数据类型的管理,基本都是文本类型,举个例子,将日期存储为文本类型,导致数据库里存储了大量的不是日期的日期(比如2021-01-35),后期在数据聚合分析时,经常报错。
4.ER模型:也叫雪花模型,实体关系模型,提供了表示实体、属性和联系的方法,是描述现实世界概念结构模型的方法。实体对象之间的联系方式通常为一对一,一对多,多对多等。这些概念十分重要且基础,严格按照这种方法设计信息系统,会避免大量冗余。且ER模型是数据建模分析的基础,在数据分析的各个环节都是必不可少的理论基础。
5.主数据编码:公司的核心实体对象一定要编码,编码规则可以由公司自行设计,只有编码后的对象,才能成为数字世界里面现实对象的孪生对象。这个不难理解,人的身份证号就是人的实体对象编码,在数字世界里身份证号代表人的唯一实体,并参与到数字世界的业务运行中,而不是人的姓名。
很多公司辛辛苦苦开发系统,创业未半而中道崩殂,大体就是以上对象管理不到位引起的。这也是我在工作中经常遇到,耗费大量时间去处理的事情,其实都是些脏活累活体力活,系统设计时若考虑足了以上问题,将为后期不断拓展卷入更多流程提供方便。
数据治理能力并不是什么高大上的概念,只要企业具有良好的数据素质,不断打磨适合企业的数据标准。就可以开发出适合自身的数字化系统。也就是说数据治理是个标准的管理问题。
学习数据工具:
以下内容主要针对企业业务提效,掌握的人越多对企业越有利。
数据采集
互联网是当今世界最大的数据库,如果学会爬虫技术就可以在网络里采集你需要的数据,并及时将数据保存至本地,参与到您公司的业务流程中。
常见的非编程爬虫软件有:八爪鱼采集器、简数采集器、后羿采集器等,基本都是拖拖拽拽就可以形成采数规则,非常友好,可以满足80%的使用场景,进阶需要学习一些HTML标签,及Xpath定位技术。再升级就是用编程语言写爬虫了,推荐Python。
Regular Expression,简写RE,是对字符串操作的一种逻辑公式,就是先定义好一些特定字符的组合,然后用这种组合代表的规则对字符串进行过滤的逻辑。主要用于对文本输入的合规性检测,在数据入库前进行把关,从而使得入库数据干净整洁,满足要求。比如“^d{n}$”用来限制只能输入n位的数字。
这里主要需要学习的就是SQL语言了,99%的语法在各数据库是通用的。如果业务人员掌握了简单的SQL,那在后面提到自助分析时将如鱼得水。
为了得到一份可供分析系统使用的质量良好的源数据,必须进行数据清洗(ETCL,
Extract-Transform-Clean-Load),此过程是将业务系统的数据经过抽取、转换、清洗之后加载到数据仓库的过程。ETCL是数据集成的第一步,也是构建数据仓库最重要的步骤,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为下一步建模分析做好准备。
大多ETCL工具都集成在分析工具中,我理解ETCL其实是一种使不规则数据变为规则数据的方法,并非单指清洗工具。
比如数据库里的视图功能,你可以将表中数据通过各种函数加工成可供分析的数据形式。
在清洗过程中,如果能懂一些统计学基础知识是极好的,比如平均值,标准差,中位数等等(CDAlevel1的主要内容哦),这些函数是个工具都自带。有一次成都政府调查我们公司员工收入时就要求分类填写中位数,可难坏了我们HR。
ETCL工具,个人使用推荐Excel的powerquery,在2016版本后直接集成在了Excel中,无需单独安装,重要性不言而喻。它可以从各种数据库,文件中抽取数据,可视化的操作过程让数据清洗变得十分简单。
报表系统
个人使用,推荐Excel power pivot,2013以后版本的Excel直接集成了此插件,用DAX表达式(和Excel函数几乎一模一样)进行简单的数据清洗,拖拖拽拽就完成了数据建模,最终以数据透视表的形式进行OLAP多维分析。Excel基础还可以的同学学习这个毫无压力。(CDAlevel1换证考试的最后两个大题就是写DAX表达式)
团队使用,推荐Finereport,低代码编程,完全可以定制设计一整套企业解决方案。设计界面类似Excel(函数基本和Excel函数一样),如果你的Excel功力还可以,SQL功力十分强悍的话,学这个也毫无压力。
自助分析系统(BI)
又称敏捷商业智能系统,让业务人员可以自由在数据中探索的系统。
举个例子,当业务人员需要分析废品率与哪些因素有关系时,传统的做法是先依据经验或专业理论,猜想可能原因,比如温度湿度,然后采集一段时间的数据,最后做成散点图,求相关系数。而BI是怎么做的呢?你可以打开BI软件,用SQL调取温湿度数据,再调取废品率数据,做成散点图,自动求相关系数,听起来差不多一样,但如果你好奇心强,你可以将企业运行所有数据拿来和废品率求相关性,比如拿材料的化学成分,机械性能数据,甚至是员工出勤率,食堂用餐人数,拖拖拽拽看和废品率的相关关系。从而找到可能突破点。耗时几分钟而已,这在传统的分析里是无法想象的。有些朋友可能已经听出来了,我说的就是探索式分析。我认为BI就是为业务人员探索式分析而生的。
BI 常用工具
BI,是未来的趋势,我相信会越来越受到管理层的重视。
万能工具Excel
在上述工具中已经多次提到了Excel,这是学习以上工具的基础,因为:
数据分析咨询请扫描二维码
数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20统计学专业的就业方向和前景非常广泛且充满机遇。随着大数据、人工智能等技术的快速发展,统计学的重要性进一步凸显,相关人才的 ...
2024-11-20