大数据的价值之路&数据价值之路的几个里程碑
大数据的4V并不在一个层面
讲起大数据,首先的印象就是《大数据时代》这本书中的提出的4V, 海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。
前三个V直接描述了数据本身的特征, 大数据业界无数的公司推出了各种存储和数据处理的解决方案以应对大数据带来的技术挑战, 初期的淘金者赚的盆满钵溢,留下了大量存满数据的机房。可是说好的价值呢?
最后一个V实现的并不理想。
以业界最为闻名遐迩的Palantir公司为例,他的founder是大名鼎鼎的硅谷投资创业教父,paypal创始人彼得.蒂尔。它第一个客户和最大的客户是美国中央情报局CIA,协助反恐。据说正是依靠他们的协助,CIA找到了本拉登的踪迹。Palantir 为此声名大噪。其最新一轮融资4.5亿美元,公司估值在200亿美元,是仅次于uber, airbnb和小米的创业公司。
可是最近的一些爆料Palantir的一系列问题。去年有至少3个重要客户终止了合同,包括可口可乐,america express, 和纳斯达克。这些客户一方面抱怨公司收费太高,会高达100万美元每个月,感觉远远不值得。而且客户和公司的年轻工程师合作起来非常头疼。
Palantir公司上次宣布去年全年的“预约价值”是17亿美元,但是实际上最后的收入只有4.5亿美元。预约价值是客户可能要支付的费用,包括很多试用期,免费用户的合同价值。这两个数据的巨大差距说明很少一部分客户最后变成了付费用户。
Palantir公司情况恰恰彰显了大数据巨大数据价值获取并不容易。
大数据中的确隐藏着大量价值,但价值的实现不在于数据分析本身,而在于数据与业务场景的碰撞。
Palantir的数据实践中面临的几个问题:
1.数据的价值和行业场景紧密相关, Palantir擅长抓坏人, 通过大量的数据关联,发现业务中的异常,进而通过异常的控制实现数据的价值, 这样的场景在安全,金融等领域比较适合, 但当推广到其它场景的时候,效果往往差强人意。深度行业场景的介入往往需要对行业的深度介入, 成本高, 周期长。
2.数据及分析人员本身也是成本, 大数据获取成本, 数据科学家的高额成本,分析工作失败的机会成本,还有数据价值的体现程度。这些都对大数据项目产生直接影响, 这些成本与价值比能否控制在一定范围,长期看来,成本是否有线性下降的预期也是企业决策关键因素。
3.工程师的技能与思维能力,数据科学家培养及留住不易, 年轻工程师的培养,学习曲线和成本都是需要考虑的点。
数据价值之路的几个里程碑
Gartner有一个非常简单和清晰的数据分析和难度的划分模式从数据分析的难度到数据价值的实现给出了4个层面的定义。这四个层面的定义也非常适合被看作是我们数据价值探索上的4个里程碑。
•描述(Descriptive),解决什么发生的分析,是相对简单的分析。 描述性的分析通常需要把大数据沉淀成为更小的,更高价值的信息,通过汇总来对一个已经发生了事件的提供洞察和报告。
•诊断(Diagnostic),在事件数据描述的基础上, 提供对原因的深度分析, 通常需要更多维度的数据, 更长时间的数据跨度, 通过关联分析发现事件与数据之间的关联关系。
•预测(Predictive),预测性分析通过一系列的统计,建模,数据挖掘和机器学习等技术来学习近期和历史数据, 帮助分析师对未来做一定的预测。
•规范分析(Prescriptive),规范性分析突破了分析并扩展到执行阶段, 结合了预测,部署, 规则,多重预测,评分,执行和优化规则, 最终形成一个闭环的决策管理能力。
过去的实践表明,75%以上的数据分析场景是描述性的分析,大部分企业已经建立的数据仓库和BI系统都可以归于这一场景,日常运营报告,运营仪表盘, 驾驶指挥舱等都属于这一类的应用的实现。 诊断和预测类分析应用则更多使用在推荐, 运营异常分析等特定场景中, 使用的范围较小, 效果参差不齐。而规范分析的场景直接打通了分析与执行,目前主要是体现在自动驾驶, 机器人等更为特定业务场景中。在商业环境中, 数据的价值需要的不仅仅是分析, 真正的价值是通过数据分析后的业务决策和业务执行获得的。
笔者用下面的这张图来描绘数据的价值之路, 越是向右,数据体现的业务价值指数越高, 体现的业务价值越高。
图中浅绿和深绿的部分是大量的人工参与过程, 帮助对前面数据分析的过程和结果进行进一步的人工处理和加工。在过去IT主导的时代这两个部分往往由IT部门承担,被业务需求驱动,实施的效果不好,还往往成为业务部门诟病的对象。大数据时代,业务部门深度参与,逐渐成为数据的主要使用者和创新者,通过数据分析,业务人员解读,丰富,判断,决策,并最终完成执行的闭环,实现数据的价值化。
数据分析咨询请扫描二维码
在当今以数据为导向的商业环境中,数据分析师的角色变得越来越重要。无论是揭示消费者行为的趋势,还是优化企业运营的效率,数据 ...
2024-11-17在当今以数据为导向的商业环境中,数据分析师的角色变得越来越重要。无论是揭示消费者行为的趋势,还是优化企业运营的效率,数据 ...
2024-11-17金融数学是一门充满挑战和机遇的专业,它将数学、统计学和金融学的知识有机结合,旨在培养能够运用数学和统计方法解决复杂金融市 ...
2024-11-16在信息时代的浪潮中,大数据已成为推动创新的重要力量。无论是在商业、医疗、金融,还是在日常生活中,大数据扮演的角色都愈发举 ...
2024-11-16随着大数据技术的迅猛发展,数据已经成为现代商业、科技乃至生活各个方面的重要资产。大数据专业的毕业生在这一变革背景下,拥有 ...
2024-11-15随着大数据技术的迅猛发展,数据已经成为现代商业、科技乃至生活各个方面的重要资产。大数据专业的毕业生在这一变革背景下,拥有 ...
2024-11-15在快速演变的数字时代,数据分析已成为多个行业的核心驱动力。无论你是刚刚踏入数据分析领域,还是寻求进一步发展的专业人士,理 ...
2024-11-15Python作为一种通用编程语言,以其简单易学、功能强大等特点,成为众多领域的核心技术驱动者。无论是初学者还是有经验的编程人员 ...
2024-11-15在当今数据驱动的世界中,数据分析已成为许多行业的基础。无论是商业决策,产品开发,还是市场策略优化,数据分析都扮演着至关重 ...
2024-11-15数据分析作为现代商业和研究领域不可或缺的一部分,吸引了越来越多的初学者。然而,自学数据分析的过程中,初学者常常会遇到许多 ...
2024-11-15在当今的数据驱动世界中,机器学习方法在数据挖掘与分析中扮演着核心角色。这些方法通过从数据中学习模式和规律来构建模型,实现 ...
2024-11-15随着数据在各个行业的重要性日益增加,数据分析师在商业和技术领域的角色变得至关重要。其核心职责之一便是通过数据可视化,将复 ...
2024-11-15数据分析师的职责不仅仅局限于解析数据和得出结论,更在于将这些复杂的信息转换为清晰、易懂且具有影响力的沟通。良好的沟通能力 ...
2024-11-15数字化转型是企业提升竞争力和实现可持续发展的关键路径。面对快速变化的市场环境,以及技术的飞速发展,企业在数字化转型过程中 ...
2024-11-15CDA数据分析师认证:CDA认证分为三个等级:Level Ⅰ、Level Ⅱ和Level Ⅲ,每个等级的报考条件如下: Le ...
2024-11-14自学数据分析可能是一条充满挑战却又令人兴奋的道路。随着数据在现代社会中的重要性日益增长,掌握数据分析技能不仅能提升你的就 ...
2024-11-14数据分析相关职业选择 数据分析领域正在蓬勃发展,为各种专业背景的人才提供了丰富的职业机会。从初学者到有经验的专家,每个人 ...
2024-11-14数据挖掘与分析在金融行业的使用 在当今快速发展的金融行业中,数据挖掘与分析的应用愈发重要,成为驱动行业变革和提升竞争力的 ...
2024-11-14学习数据挖掘需要掌握哪些技能 数据挖掘是一个不断发展的领域,它结合了统计学、计算机科学和领域专业知识,旨在从数据中提取有 ...
2024-11-14统计学作为一门基于数据的学科,其广泛的应用领域和多样的职业选择,使得毕业生拥有丰厚的就业前景。无论是在政府还是企业,统计 ...
2024-11-14