中国式大数据与分析的现状_数据分析师考试
所谓“大数据分析”,其和“小数据分析”的唯一差别在于数据量以及数据量带来的对于数据存储、查询及分析吞吐量的要求。本质上,“大数据分析”仍然需要通过数据分析来发现现状,找到导致现状的根源要素,并且通过模型与预测分析技术来对改善进行预测与优化,并且实现企业运营各个领域的持续改善与创新。
要谈“大数据分析”的中国现状,首先必须深入了解“数据分析”在国内的应用情况。 国内企业,不论是国企还是民企,真正在业务决策中以数据分析结果为依据的,主要集中在银行,保险,电信和电商等几个行业。以IT预算最充沛,人员能力最强的银行为例,目前主要是大型银行在导入数据分析。中小银行尚在观望与学习阶段,人员与能力建设正在起步阶段。数据分析的应用范围主要集中在信用风险、流程优化、市场营销、成本与预算等几个方面,深度尚可,但广度一般,尚未扩充到运营管理的所有领域。
而谈到“大数据”或者数据仓库,上述行业中的绝大多数企业早已实施了各种数据仓库,以管理数据。这种买药再看病的模式,完全本末倒置。数据仓库与数据库不一样,其使命就是为了分析而存在的。没有分析,仓库何用之有? 四大行之一的某大型国有银行,90年代末期就开始花费好几亿元IT预算,建设“数据大集中”项目,受该行影响,其他国内银行掀起了一股数据集中的热潮。而当时连商业智能还是个尚未传入中国IT概念,更遑论数据分析了。15年过去了,这些被集中的数据,还在么? 至于支撑起我国庞大GDP的制造业、建筑业和贸易业,在运用数据分析进行业务决策方面,则尚未见规模。
其IT开支仍然主要集中在基础架构与流程化的软件套件领域(如ERP,CRM,HRM, SCM等),部分企业开始导入商业智能(报表、制图、管理驾驶舱),而数据分析应用远远没有进入规模发展阶段。以我国制造业企业为例,从五、六年前开始热炒“六西格玛”、“全面质量管理”,“精益生产”,尽管这些举措对中国制造、中国创造等带来本质变化尚需时日,但是就提升企业决策能力和管理水平而言,这些举措的的确起到了一定的作用,对于中国企业从拍脑袋到用数据决策这一本质转变打下了一个基础。 这一现状的原因,我们认为主要体现在如下几个方面:
1.企业的权力来源
数据分析才是真正的一把手工程。分析的使命,在于改善决策。决策的第一责任人,也就是企业最高层管理人员。国企,尤其是大型央企,职业经理人体系并不完善,董事长、总经理级别的任命是由组织部门而不是经济部门来决定的。“讲政治”的人事任命体系决定了企业决策的复杂性和特殊性,科学管理方法和决策手段的推广,完全取决于企业最高领导人本身对于这些手段的认可程度。 另外,数据分析带来的不仅仅是分析软件和分析方法论,更需要决策、运营进行相应的改善与调整,我们通常称之为“变革”. 任何变革都会带来相匹配的风险与收益。国企的权力架构和民企、外企非常不同,哪怕总经理决定了要变革,还得征求企业内部各路权力部门的认可与接受,变革的难度导致了我们通常看到和听到的“转型极其艰难”,“身为大家长要对几十万张嘴负责”等煽情苦情的自我表白。不要说数据分析,就连开除几个绩差员工,一不小心就要得罪人,严重了还要危及乌纱帽,改革谈何容易。 相比之下民企和外企在这方面的转变要敏捷、迅速很多。比如苹果,很多年前就开始全球范围导入JMP数据分析平台,在我们的跨国团队的帮助下从搭建数据分析能力、规范数据分析流程、导入高级数据分析方法、直到生产与研发环节的数据分析全球标准化等工作。整个过程长达数年,涉及到庞大的机构、人员、方法、流程的转变,却平稳有序。其间还发生了Steve Jobs辞世,新任CEO上台等足以中断一切的重大企业事件,但导入数据分析能力这一过程丝毫没有受到任何影响。
2.企业的运营能力储备
能力储备也是个关键要素。哪怕管理层决心一致,雄心壮志,重大变革能否落地,还得取决于团队能否升级与被变化。意志力尽管重要,体能却是个关键。数据分析对于参与者的统计、概率、数学、计算机、业务理解等几个方面的能力要求甚高。尽管“能力是可以培养的”,但是我们在国内这么多年的众多数据分析导入项目中,面临最多的挑战就是人员培训和流程变革。 以电信运营业为例,BOSS系统,各种业务系统和数据仓库搭建了许多年,数据分析对于客户行为的理解与促销产品的层出不穷也使得这个行业的数据分析应用远远超过绝大多数其他行业。但电信业在大规模导入数据分析方面面临的首要问题,仍然是专业人才储备以及与数据分析有关的规章制度、决策流程与文化体系的建立。 我们在市场上看到更多的,是IT部门主导的数据分析项目。项目名称是数据分析,而内容仔细一了解,往往都是数据仓库+企业报表。不是传统财务三表,而是用于展现核心KPI的图表。对“数据分析”不了解,把报表和制图当成“分析”,是这一现状的根源。
3.市场环节与竞争压力
不同企业对市场竞争的变化是非常不同而有趣的。比如三桶油,建立竞争力的方法,在于找油田、收购加油站,利用垄断性政策优势抬高行业准入门槛。三大电信运营商,若干年前曾经有子公司互相攻击,甚至发展到人员斗殴,割断对方光线网络的事件。而华为与中兴的竞争,若干年前除了口水仗,还有互相挖对方技术团队。 政策性垄断行业,尽管有压力,但是在提升生产力和生产效率的手段方面,改变缓慢而低效。 高度市场化领域,比如家电,汽车,消费电子,华工、医药等领域,对以数据分析为代表的“高级能力”的接受程度则高了不少。
综上所述,我国企业界对于数据分析的应用仍然停留在个别行业与个别应用的阶段。不过,尽管导入数据分析的过程是如此艰难而挫折,我仍然认为,随着我国各行业市场化进程的推动,随着互联网、数据分析技术不断对传统产业的颠覆过程,“数据分析”或者“大数据分析”迟早会成为中国企业界突破藩篱的关键手段。
数据分析咨询请扫描二维码
统计学基础 - 理解统计学的基本概念和方法是数据分析师必备的技能之一。统计学为他们提供了处理数据、进行推断和建模的基础。 数 ...
2024-11-25数据分析师在如今信息爆炸的时代扮演着至关重要的角色。他们不仅需要具备扎实的数据分析技能,还需要不断学习和适应不断发展的技 ...
2024-11-25数据分析师的工作职责涉及多个关键方面,从数据的获取到处理、分析再到可视化,旨在为企业的决策提供有力支持。让我们深入了解数 ...
2024-11-25数据分析师:洞察力量的引擎 数据分析师的兴起 数据分析师行业目前正处于快速发展阶段,市场需求持续增长,薪资水平也有所提升。 ...
2024-11-25数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-25数据分析是当今社会中不可或缺的一项技能,涵盖了广泛的工具和技术。其中,掌握各种数据处理函数对于数据分析师至关重要。本文将 ...
2024-11-25“大数据治理”是一个涵盖广泛的复杂概念,其核心在于确保大规模、多样化的数据资源能够被有效管理和利用。不仅涉及数据的采集、 ...
2024-11-25一、引言 背景介绍 随着信息技术的快速发展和互联网的普及,大数据已经成为现代社会的重要资产。大数据的兴起不仅推动了各行各业 ...
2024-11-25《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22