大数据产业的结构化瓶颈及解决之道
1、大数据产业的结构化瓶颈
大数据转换为大价值是一个复杂的链条。复杂性既来自需求自身的高度分散和个性化,又来自满足需求过程所涉多样且相互依赖的环节。尽管IT能力是绕不开的环节,认为大数据就是Hadoop的阶段毕竟已过去了,现在大家都已经意识到更广泛的数据源是数据价值链的源头,越发重视外部数据的获取。大家正在意识到,大数据的应用场景如此广阔,没有哪一家供应商能保证现成的方案就能充分实现其潜力,所以各种创意大赛、算法大赛层出不穷。同时,创新的不确定性,又影响企业恰当地表达数据需求,尤其当数据来自其他行业时。
从供给侧来看,大数据时代真的要来了。数据资源、大数据处理技术平台、分析软件、应用算法曾经门槛很高的现在门槛大大降低。比如,大数据的处理和分析以前只有大型企业才有实力购买或部署,而今云服务则大大降低了门槛,中小企业也能快速具备相关能力。
然而,当需求方决定接受鼓动拥抱大数据时,很可能发现大数据与传统的IT项目没有什么不同,除非能够解决下面两个问题。
问题1-在数据价值链源头,数据作为新型生产要素尚不具备成熟的流通机制,这个社会正在快速数据化但数据远未社会化;
问题2-在数据价值链尾端,各类异质性要素需要有机整合才能输出价值,但目前还没有能够按照客户需求整合全要素的角色
当前,大数据要素升级已基本准备就绪,但传统IT产业的结构性瓶颈制约了大数据时代的真正到来。新的产业要素呼唤新的产业制度设计。
2、问题分析与破题思路
2.1 对数据流通问题的思考
回到问题1的原点,为什么数据需要流通?因为数据具有外部性,对其拥有者之外的主体存在广泛的使用价值。对外部性不同的预期,决定了不同的流通方式。政府希望尽可能多地释放外部性使其转化为社会福利,企业希望尽可能多地内化外部性使其转化为经济收益、资源收益和战略收益。类政府的诉求对应数据开放,经济收益对应数据交易,资源收益对应数据交换,战略收益对应数据共享。从长远来看,数据流通机制必将多元化,但目前由于各种原因,大部分数据源对直接获取经济收益更感兴趣。
本部分仅分析数据交易面临的问题。
数据交易的本质是采取市场化手段促进数据流通,而市场是通过价格发挥作用的。由于数据供给可以无限量0成本复制,影响数据定价的主要因素在需求侧。
当效用大于成本时交易才会发生,也就是说,只有需求方从某项数据中获取的价值大于为此付出的诸多成本时,定价才是有意义的。因此,任一数据的定价即购买成本应不高于[数据价值-(搜寻成本+交易成本+使用成本)].
与传统商品交易不同之处有二。一是数据本身缺乏内在一致的价值尺度,其价值取决于应用场景,即使同一数据的价值也可能是高度离散的,极端情况下正所谓此之毒药彼之蜜糖;二是很少有数据买来就直接能用,购买后的使用成本视场景不同差异很大,而这部分成本也应计算进来,因为它发生在价值兑现之前,是需求方购买决策的重要因素。因此我们可以把公式改写为:
价格≤(数据价值-使用成本)-(搜寻成本+交易成本)
前面的被减项很大程度上取决于数据使用场景,相关信息是形成市场价格的必要条件。这可能是数据交易机制无法顺畅运行的症结之一。数据源不了解需求方的使用场景,需求方不了解数据源需要经过怎么样的处理才能使用,双方都缺乏交易的欲望。在这种情况下,数据交易市场如果仅提供中介服务,是无法促进交易达成的,这可能也是数据交易暂未风行的重要原因。
后面的减数项则是一个中介的本分了,这个值做得越低越能促进数据流通。搜寻成本和交易成本可以发生在线上也可发生在线下,能在线上完成的都应在线上完成。可能有些交易市场担心把相关信息如数据目录都搬到线上后会被旁路,这是极其短视的看法。中介靠信息揽客但不是靠信息赚钱,赚钱的是高价值的增值服务。比如,交易成本除了显性的佣金,还包括信任成本、商务合作成本,等等,如果能够帮助客户降低这些成本,就是有价值的中介服务。
可见,要真正走通数据交易这个流通模式,需要从两方面着力降低客户获取数据价值的TCO,不是局限于简单的撮合。一是提供场景,在数据的供给方和需求方之外,引入更接近业务场景的第三方合作伙伴,从而掌握更多的定价信息;二是提供场所,着力提升平台自身的竞争力,在降低搜寻成本和交易成本上下工夫,比如扩大数据目录、优化查询工具、打消隐私顾虑等等。
2.2 对要素整合问题的思考
对于问题2,我们提出大数据全要素的概念。如上文所述可分为四类:数据要素是灵魂、IT要素是基础、创意要素是催化剂、服务要素是粘合剂。数据和创意要素的需求高度个性化、供给高度分散化,IT要素的需求相对标准化、供给相对集中化。服务要素中可以被标准化的都会被工具化、产品化为IT要素并最终移向云端,剩下难以标准化的本地服务,供给则趋向于分散化。
全部自家生产肯定不算整合,把别人家东西买回来放自家库房再卖出去的也不算整合。由于众所周知的原因,一些能力全面的大厂不可能涉足数据整合,而具备一定整合能力的互联网公司却暂不具备IT产品和服务交付能力。此类解决方案的灵魂不是对软硬件产品的了解,也不完全是行业经验丰富的专家,而是数据思维以及将正确的数据用正确的方式整合到正确的流程中的综合能力。
知易行难,这种能力看似是IT集成能力的升级,但由于四类要素之间迥然不同的性质和供需格局,传统的集成模式难以完成这一任务。可以把全要素整合者理解为一种新型集成商,但集成对象和集成方式发生了变化。在集成对象方面,从IT要素和服务要素扩展到数据要素和创意要素;在集成方式方面,从交钥匙工程的保姆式集成转变为平台模式,让多种个性化的要素与客户的个性化需求在同一平台对接。
四类要素,谁整合谁?第三方开发者也就是创意要素显然是被整合的对象,此外有两个可选项。
一种是BAT等坐拥数据金矿的整合各种IT服务商,云基础设施领先更是如虎添翼,但是它们再去整合其他数据资源却面临困难。阿里大肆收购各种行业B2B资产有两个目的,一是补充IT服务能力,二是瞄准了这些行业地头蛇能接触的行业数据,这种All-In的思路其实已经不是平台的玩法了。
另一种是有实力的大数据IT公司整合数据源。此类企业要整合数据源具有战略上的优势即中立性,同时具备战术上的劣势即如何启动平台的正循环。国内IT公司在云计算方面较落后,即使有优秀的产品能力仍无法集约化高效提供,但最大的挑战可能还是从IT思维到数据思维、从集成思维到平台思维的转变。
2.3 合二为一的破题思路
不难发现,问题1和问题2其实相互进入了对方的范畴。要建立全要素整合模式(问题2),绕不开数据要素的整合,这种整合不是传统的集成,而是构建一个流通平台(问题1)。要建立数据交易模式(问题1),必须破解数据定价难题,全要素整合者(问题2)由于涉足数据的后续处理、分析和应用环节,是获取定价信息最佳候选人。因此,两个问题统一在一个破题思路下,即打造一体化产业平台,成为大数据全要素整合者。
3、一体化平台与全要素流通
一体化平台的本意是指底层能力基础设施平台和上层商业基础设施平台作为一个有机整体的模式,是相对于仅提供能力API的模式或仅提供双边撮合服务的模式而言。电商平台最初仅提供商业基础设施,但阿里沉淀了云计算能力打造了阿里云作为底层基础设施平台,已成为典型的一体化平台。继续向O2O商业平台演进,这次沉淀的是数据资源,新的能力基础设施平台正在成型。
在大数据产业中,针对前面提到的两大瓶颈,也将出现一体化平台,如上图所示。在能力平台层面是社会级大数据处理分析平台,在此支持下,商业平台层面包括数据流通和应用聚合两大平台,最终体现在企业用户侧就是一个整合了数据要素、IT要素和创意要素的大数据全要素整合者。
首先,一体化产业平台具备夯实的基座,打铁还需自身硬,并非空手套白狼。IT要素的供需特征决定了,像水电煤气一样为全社会提供标准化的大数据处理分析基础设施是经济可行的。在提供基础要素即IT要素方面要具备竞争力,这是全要素整合者的基本条件。基于此,全要素整合者向各种角色提供低成本的大数据IT产品及服务,与所有生态成员都建立了联系或称控制点。
第二,受益于各种要素之间的互补性,一体化产业平台能锁定平台各方成员。对于数据源,平台不仅能够找到买家,还能对接发挥数据价值的应用对于应用对于传统企业,平台能一站式提供大数据全要素,这才能真正兑现大数据的大价值。
第三,一体化产业平台为大数据产业发展解除发展瓶颈,符合各方利益。大数据代表一系列新型生产要素,但若不对传统IT产业的产业关系进行革新,要素升级难以真正转化为生产力。相对于市场或企业,平台是一种新的分工机制,把各类要素主体之间的链式关系转变为以客户为中心的扁平关系,并扩展到长尾市场,更有序、充分、高效地实现多种要素流社会化流通和有机协同。
在一个产业成型或范式转型初期,采取一体化策略的企业通常占优,大数据产业就处于这样的阶段。但是,数字化条件下产业和企业的边界打破、各种新型分工要素涌现,分工又是大势所趋。
一体化产业平台既不同于大包大揽的纵向一体化企业也不同于靠砸钱建立规模门槛的轻平台。我们相信它是大数据产业的最佳选择。归根到底,产业选择何种分工机制,看的是谁能更快速地协调处理更多元的要素以客户需求为准则的有序流动,具有一定的必然性。
对IBM、Apple、电信运营商等企业兴衰的研究表明,企业的成功是需求驱动下的产业必然性和资源约束下的企业偶然性交叠的结果。企业需要构建与产业演进阶段相适应的战略模式,寻找并实现到那份属于自己、符合产业必然性的偶然性。
数据分析咨询请扫描二维码
数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-26技术技能 - 编程能力: 数据分析师需要掌握至少一门编程语言,如Python、R或SQL。这些语言对于数据处理、建模和分析至关重要。例 ...
2024-11-26数据分析领域涵盖多样性岗位,根据工作职责和技能需求划分。这些角色在企业中扮演关键角色,帮助组织制定战略、优化流程并实现商 ...
2024-11-26数据分析是一种通过收集、处理、解释和展示数据,以获得见解和决策支持的过程。这个领域涉及使用统计学、计算机科学和商业智能等 ...
2024-11-26数据分析领域正日益成为当今商业世界中不可或缺的一环。随着数据量的爆炸式增长,企业越来越需要能够从这些海量信息中提炼出宝贵 ...
2024-11-26数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。在追求这一职业道路上,合适的教育和培训至关重 ...
2024-11-26数据分析师作为当今信息时代中关键的职业之一,扮演着解释、预测和推动决策的重要角色。他们需要多方位技能来处理各种复杂的数据 ...
2024-11-26数据分析师在今天的商业环境中扮演着至关重要的角色。他们需要应对各种复杂的数据分析任务和业务需求,这要求他们具备广泛的技能 ...
2024-11-26在当今快速变化的技术和市场环境中,数字化转型是企业利用数字技术全面重新设计和改造业务的重要过程。这一转型旨在通过整合云计 ...
2024-11-26数字化转型: 是企业在现代技术和市场环境不断变化的背景下,利用数字技术对其业务进行全面的重新设计和改造的过程。其核心目标是 ...
2024-11-26理论基础与高级学习 数学专业理论基础: 学生首先需要掌握数学的基础理论,包括数学分析、高等代数、几何学、常微分方程、实变函 ...
2024-11-26数字化转型:现代企业蜕变的引擎 数字化转型已然成为当今企业持续发展的关键支柱。这一过程并非简单的技术升级,更是涉及企业文 ...
2024-11-26# 数据科学与大数据技术专业学什么?就业前景与行业需求 **数字化转型:引领企业进步的关键** 数字化转型是现代企业发展的必经 ...
2024-11-26理论部分 - 基础数学理论: - 学生首先需要掌握数学的基础理论,包括数学分析、高等代数、几何学、常微分方程等。 - 这些课程 ...
2024-11-26在选择数据科学和大数据技术专业时,了解不同领域的职责和技能需求至关重要。数据治理工程师是这一领域中不可或缺的角色之一,承 ...
2024-11-26基础课程 统计学基础 - 统计学是数据分析的基石,包括概率、假设检验、回归分析等基本知识,有助于理解数据背后的意义。 - ...
2024-11-26数据分析是一门综合性学科,涉及多个领域的知识和技能。要全面掌握数据分析,需要学习以下内容: 基础课程 统计学基础:统计学 ...
2024-11-26数据治理工程师在当今信息时代扮演着至关重要的角色,负责确保组织内数据的质量、安全性和可用性。他们需要具备一系列技能和才能 ...
2024-11-26在当今数字化时代,数据被誉为新的石油,是企业最有价值的资产之一。因此,建立有效的数据战略规划对于企业的成功至关重要。数据 ...
2024-11-26<section id=
2024-11-26