“大数据”时代到来了么
潮流是一股可笑又可敬的力量:今天,如果打开任何媒体,要是不提“大数据”,恐怕都不好意思出版。 这股潮流,铺天盖地,连国家领导人都不例外。 问题在于:为什么人人言必称大数据?
数据的价值,随着数据量的几何级数增长,已经不再能够通过传统的图表得以显现,这正是为什么商业智能还没来得及流行,便已被“数据分析”挤下舞台。因为,价值隐藏在数据中,需要数据分析方可释放这些价值。数据分析能力的高低,决定了价值发现过程的好坏与成败。可以说,没有数据分析,“大数据”只是一堆IT库存,成本高而收益为零。但是国内热潮的“大数据”概念,目前仍然停留在数据收集、整理、存储和简单报表等几个初级阶段。能够对大数据进行基本分析和运用的,只有少数几个行业的少数企业。关于这一点,我们可以通过谷歌搜索结果来简单揭示这一现状的:
挑选四个关键词,并且分别搜索,并且对搜索结果计数用JMP数据分析软件进行制图:
很明显,英文世界里,“big data”的搜索结果计数比中文世界里的“大数据”搜索结果计数要多了不少; 而“analytics”(分析)的搜索量不仅仅高于“big data”,更是远远高于“分析”在中文世界里的搜索结果,大概是169倍!
这个结果,尽管不能100%还原中国业界对“大数据“和”分析“的重视程度,但仍然可以揭示一个起码的事实:作为大数据概念源头的西方国家尤其是美国业界对于”分析”的重视,远甚于中国业界对分析的关注。
这个来自谷歌搜索的简单分析结果,和我们对于中国企业大数据实施现状的理解不谋而合。
中国式大数据与分析的现状
所谓”大数据分析“,其和”小数据分析“的唯一差别在于数据量以及数据量带来的对于数据存储、查询及分析吞吐量的要求。本质上,”大数据分析“仍然需要通过数据分析来发现现状,找到导致现状的根源要素,并且通过模型与预测分析技术来对改善进行预测与优化,并且实现企业运营各个领域的持续改善与创新。要谈”大数据分析”的中国现状,首先必须深入了解”数据分析“在国内的应用情况。
国内企业,不论是国企还是民企,真正在业务决策中以数据分析结果为依据的,主要集中在银行,保险,电信和电商等几个行业。以IT预算最充沛,人员能力最强的银行为例,目前主要是大型银行在导入数据分析。中小银行尚在观望与学习阶段,人员与能力建设正在起步阶段。数据分析的应用范围主要集中在信用风险、流程优化、市场营销、成本与预算等几个方面,深度尚可,但广度一般,尚未扩充到运营管理的所有领域。
而谈到“大数据”或者数据仓库,上述行业中的绝大多数企业早已实施了各种数据仓库,以管理数据。这种买药再看病的模式,完全本末倒置。数据仓库与数据库不一样,其使命就是为了分析而存在的。没有分析,仓库何用之有? 四大行之一的某大型国有银行,90年代末期就开始花费好几亿元IT预算,建设“数据大集中”项目,受该行影响,其他国内银行掀起了一股数据集中的热潮。而当时连商业智能还是个尚未传入中国IT概念,更遑论数据分析了。15年过去了,这些被集中的数据,还在么?
至于支撑起我国庞大GDP的制造业、建筑业和贸易业,在运用数据分析进行业务决策方面,则尚未见规模。其IT开支仍然主要集中在基础架构与流程化的软件套件领域(如ERP,CRM,HRM, SCM等),部分企业开始导入商业智能(报表、制图、管理驾驶舱),而数据分析应用远远没有进入规模发展阶段。以我国制造业企业为例,从五、六年前开始热炒“六西格玛”、”全面质量管理“,”精益生产“,尽管这些举措对中国制造、中国创造等带来本质变化尚需时日,但是就提升企业决策能力和管理水平而言,这些举措的的确起到了一定的作用,对于中国企业从拍脑袋到用数据决策这一本质转变打下了一个基础。
这一现状的原因,我们认为主要提现在如下几个方面:
1. 企业的权力来源
数据分析才是真正的一把手工程。分析的使命,在于改善决策。决策的第一责任人,也就是企业最高层管理人员。国企,尤其是大型央企,职业经理人体系并不完善,董事长、总经理级别的任命是由组织部门而不是经济部门来决定的。“讲政治”的人事任命体系决定了企业决策的复杂性和特殊性,科学管理方法和决策手段的推广,完全取决于企业最高领导人本身对于这些手段的认可程度。
另外,数据分析带来的不仅仅是分析软件和分析方法论,更需要决策、运营进行相应的改善与调整,我们通常称之为“变革”。 任何变革都会带来相匹配的风险与收益。国企的权力架构和民企、外企非常不同,哪怕总经理决定了要变革,还得征求企业内部各路权力部门的认可与接受,变革的难度导致了我们通常看到和听到的“转型极其艰难”,“身为大家长要对几十万张嘴负责”等煽情苦情的自我表白。不要说数据分析,就连开除几个绩差员工,一不小心就要得罪人,严重了还要危及乌纱帽,改革谈何容易。
相比之下民企和外企在这方面的转变要敏捷、迅速很多。比如苹果,很多年前就开始全球范围导入JMP数据分析平台,在我们的跨国团队的帮助下从搭建数据分析能力、规范数据分析流程、导入高级数据分析方法、直到生产与研发环节的数据分析全球标准化等工作。整个过程长达数年,涉及到庞大的机构、人员、方法、流程的转变,却平稳有序。其间还发生了Steve Jobs辞世,新任CEO上台等足以中断一切的重大企业事件,但导入数据分析能力这一过程丝毫没有受到任何影响。
2. 企业的运营能力储备
能力储备也是个关键要素。哪怕管理层决心一致,雄心壮志,重大变革能否落地,还得取决于团队能否升级与被变化。意志力尽管重要,体能却是个关键。数据分析对于参与者的统计、概率、数学、计算机、业务理解等几个方面的能力要求甚高。尽管“能力是可以培养的”,但是我们在国内这么多年的众多数据分析导入项目中,面临最多的挑战就是人员培训和流程变革。
以电信运营业为例,BOSS系统,各种业务系统和数据仓库搭建了许多年,数据分析对于客户行为的理解与促销产品的层出不穷也使得这个行业的数据分析应用远远超过绝大多数其他行业。但电信业在大规模导入数据分析方面面临的首要问题,仍然是专业人才储备以及与数据分析有关的规章制度、决策流程与文化体系的建立。
我们在市场上看到更多的,是IT部门主导的数据分析项目。项目名称是数据分析,而内容仔细一了解,往往都是数据仓库+企业报表。不是传统财务三表,而是用于展现核心KPI的图表。对“数据分析”不了解,把报表和制图当成“分析”,是这一现状的根源。
3. 市场环节与竞争压力
不同企业对市场竞争的变化是非常不同而有趣的。比如三桶油,建立竞争力的方法,在于找油田、收购加油站,利用垄断性政策优势抬高行业准入门槛。三大电信运营商,若干年前曾经有子公司互相攻击,甚至发展到人员斗殴,割断对方光线网络的事件。而华为与中兴的竞争,若干年前除了口水仗,还有互相挖对方技术团队。
政策性垄断行业,尽管有压力,但是在提升生产力和生产效率的手段方面,改变缓慢而低效。 高度市场化领域,比如家电,汽车,消费电子,华工、医药等领域,对以数据分析为代表的“高级能力”的接受程度则高了不少。
综上所述,我国企业界对于数据分析的应用仍然停留在个别行业与个别应用的阶段。不过,尽管导入数据分析的过程是如此艰难而挫折,我仍然认为,随着我国各行业市场化进程的推动,随着互联网、数据分析技术不断对传统产业的颠覆过程,“数据分析”或者“大数据分析”迟早会成为中国企业界突破藩篱的关键手段。
数据大不大其实一点也不重要
只要是数据,里面必然有故事。与其在能力毫不匹配的情况下片面追求大数据,还不如立即行动起来,从手头、身边保有的小数据当中提取价值,进而为真正的大数据时代的数字化决策打下基础。
从微观角度来看,我们以中国零售及消费品行业为例,看看数据分析在这一领域的应用现状:
概要
公司对分析法的应用日益增多,但还远远不足以捕捉其可能的价值。为了认识到其价值所在,公司应再次将关注重心置于分析法上,构建并应用分析法来确定行动、发掘货架层面的商机。这样,分析法才能满足如今眼光敏锐、关注价值的消费者。
背景
企业内部采用的分析手段是非标准化的,零散的—--例如把图表当分析;
更多地关注数据获取和管理,而不是开展面向客户的预测性建模与数据挖掘。前者是IT工作,后者才是从数据里获取价值的过程
尚未在公司真正地运行或者构建持续的分析能力、分析流程和与数据分析有关的业务与管理决策机制。
而根据我们为中国企业提供JMP数据分析战略拓展与项目支持的多年经验,我们的建议是:
1. 从项目级别的数据分析应用开始,逐渐现成项目组级别的标准化分析流程与业务决策制度。借助项目拓展出有基本分析与应用能力的团队;
2. 将项目分析经验扩展到部门级别,拓展 数据分析—价值获取—业务决策 这一价值链。 根据部门级数据分析应用的需要来开展数据获取和管理。借助部门级引用导入拓展出数据分析与业务决策的流程,以及统一、先进的数据分析平台与业务实践库
3. 从部门级到企业级应用,纵横两个维度都在拓展,需要企业管理层的高度参与与制度支持,推广基于数据分析为核心的文化与模式转变,建立支撑这些变化的长远的数据分析战略
4. 至于数据是不是够大,是不是需要“云计算“,全看业务需要而定!
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21