BAT可以应用大数据,不能垄断大数据
大数据是互联网时代发展成熟的产物。海量的数据充斥在我们身边,只是很多人还没有察觉。但有这样一些人,他们听到了海啸袭来的声音,率先迎着浪潮而去 。
紫数网的创始人丁齐先生就是这样的人。本期《中国数据人物专访》请他来谈谈他对于整个大数据产业的看法和见解,还有他的创业经历。
以下是采访实录。
紫数网:先谈谈您对大数据的见解吧,或者说您怎样理解大数据?
丁齐:这个问题得从两个角度来回答。一个是大数据是什么,怎么理解它;第二个是它发展得这么快,核心价值是什么。
对大数据最广为人知的解释是4V:Volume——它的规模、Variety——它的多样性、Veracity——它的真实性,还有一个Value——它的价值① 。而用更为本质的角度来理解大数据,它应该是一个完整并连续的,有效的,同时也是无限增长的数据集群,它的体量和质量决定它的价值大小。
大数据的核心价值是什么呢?有两点。一个是它让人们用全新的眼光去认识这个世界,同时它还是推进商业和科技发展的源动力。
还有一些值得我们深思的问题:大数据发展到今天,从早期的萌芽,到大众逐渐对这个事物有了认知,再演变到大家都开始热炒,在任何场景下都可以提到 “概率产业论”。 到了这样一个地步,我们反而应该回过头去冷静地思考一下,如何面对和处理数据。
紫数网:我们现在在网络上看到一个观点,说传统数据分析并不属于大数据。您觉得大数据分析和传统的数据分析有什么区别呢?
丁齐:实际上这个区别还是比较明显的。一般情况下,传统数据分析是在我们可描述的范围内去采集相应的样本,采用的是一种有限的维度和分析方法,在一定的范围内去分析数据样本,运用经典统计分析的方法和模型去总结规律或揭示问题的本质。
现在的大数据采用的是一种全新的技术手段和分析思路,为什么呢?首先它基于实时的、连续的数据集,对这个实时的、连续的、海量的数据集进行探索式的发现,而不是假定一个范围、一个逻辑,按照因果关系来分析归纳。这是他们的本质区别。
举个针对在校学生的大数据应用案例。学校要统计全校学生今年期末考试成绩的及格、达标和优秀各自占的比重,那我们可以根据设定的范围,是全市的、全省的还是全国的,类似这样的范围去采集样本;根据这个样本,再去分析刚刚说的问题。假设全国范围内,今年高等教育阶段的学生有多少人的成绩是达标,有多少人是优秀,没过关的是多少,统计出一个数据来。这就是传统的数据统计和数据分析的典型应用。
同样在这个项目案例中,大数据层面研究的是,全国整体高校学生他们每天在做什么?学习习惯是怎样的?他们的偏好是什么?日常在看些什么?关注些什么?他们遇到的问题有哪些等等。大数据分析关注的是更全面,更细节,更贴近用户本身的特征和行为。这种数据思维无限接近研究对象的本质。
所以说,大数据跟传统数理统计所关注的要点和所采用的方法论体系是不同的。前者是基于因果关系在一定样本抽样的范围内进行分析归纳和推理预测,并形成结论;而后者则是通过不断地跟踪、积累,基于一个相对完整的全集数据集群中通过探索式挖掘,尝试发现前所未知的特征或规律。
紫数网:为什么想到创立紫数网这样一个网站?
丁齐:是这样的,我从事这个领域已经有十年左右的时间。我比较热衷于数据信息领域的分析研究和应用实践。从数据里面,我们可以找到很多有趣的规律、现象,利用这些规律和现象,我们可以为企业和社会创造更多的价值。其实最主要的价值点在于不断提升决策效率,不断驱动对未来的洞察,不断推动我们对管理和决策机制的优化,使整个管理和运营效率能够不断的提升,从而在竞争激烈的市场环境下立于不败之地。这就是我创立紫数网的初衷。
紫数网:您在创业过程中有没有遇到什么困境?是怎样解决的?
丁齐:当然,有
总结起来主要有两个问题。第一个是人才,就是团队问题。在初创阶段,和快速成长不断晋级的关键时期,都要面对这个问题。这个问题的核心是思维意识的问题。这时候应该思考如何摆脱既定思维,能跟上时代的脚步;应该敢于直面当前市场所发生的变化,去理解、洞察、深入到当前的市场中去,主动拥抱市场,才能真实的感受市场 ——市场变了,我们的意识和思维不去发生相应的变化,那我们就等于坐以待毙。
第二个问题是资金问题。这是一个所有公司可能都要面对的问题,尤其对于初创的团队。说白了,有再远大的理想、再好的商业模式和团队,征程中都需要先解决吃饭问题。
在这一点上,我的应对方式是这样的。首先对内,我们始终强化信心。这个信心来源于我们的初心,那个对我们既定的未来事业的强烈愿景,这是我们整个团队信心的基础。如果对未来看不清楚,对未来的方向始终摇摆不定,那就谈不上什么信心。信心不牢固,遇到挫折就很容易崩溃。有了信心这个法宝,就相当于掌握了5 成的资本 。
但是光有信心也不行,还得积极拥抱市场和资本。我们是这样面对投资人的:首先我们有了信心,对未来有了清晰的目标和判断,在此基础上,高效的执行力比华丽的 PPT 更能有说服力。最终,通过执行力和成果来赢得资本的青睐和支持,不仅解决眼前的生存问题,还极大的提升了竞争实力和执行效率,形成创业和资本之间的良性循环。
紫数网:您认为大数据行业的发展现状如何?存在哪些问题?
丁齐:事物的发展都有一个过程,不能一蹴而蹴。当然,大数据的概念从十几年前被提出来,到现在经历了好几个阶段,不断地去完善,到今天为止,我们从实际的市场发展来看,发现大数据走到今天呈现几个趋势。
第一,大数据产业整体发展迅猛。从现况来看,大数据行业的发展在方方面面都取得了很大的进展。尤其是随着移动端、智能端不断的优化,数据的体量越来越大,增量的变化也越来越快。在以前,一个 PB 的数据可能需要积累很长一个 周期 , 也 伴随 很大的一笔 投入,一个企业积累一个 PB 的数据可能需要几年的时间; 但随着 智能硬件、可穿戴设备,以及工业 4.0 所催生的物联网的蓬勃发展,一个企业一天 就能 形成 1PB 的大数据,所以说数据的增量变化会很明显。数据的 存量 会以指数级的速度爆炸式增长。在这样的大背景下,大数据将会迎来更快、更大的发展。
第二,大数据正在沿着不同的领域、不同的行业纵深发展。比如说,在医疗健康、人工智能、生物制药以及金融等领域都有了很深的研究和应用。在金融领域,现在比较热门的是在区块链和虚拟货币的方向不断发展,也看到了未来巨大的市场潜能。我们看到了这样一个机会,当然,到现在为止还没有走到很成熟的商业化阶段,但是可以很明显地看到未来的趋势。
第三,大数据的商业化诉求日趋紧迫。比如说我们看到很多企业从进入这个行业到经历前期的困难和挫折的考验,再到今天商业化的阶段,也提出了一些自己的想法;在商业模式的探索上,也呈现了百家争鸣的局面。这给我们透露出一个信号,这个时代下的大数据企业都在摸索、尝试如何让整个产业真正实现商业价值。
在这个过程中,我看到几个问题。其一是任何事物想要发展、最终实现商业价值和商业化的爆发所必须经历的过程——开放。在数据领域里,一直在提倡开放性、融合,但是一直到今天,我们所希望达到的境况还是没有达到,离我们期望的那个目标还有很长的一段距离。所以说在这个过程中我们还有很多问题需要解决,很多课题需要攻克。比如,数据的标准化 , 个人隐私 , 公共安全等。来自不同的场合,不同的维度,不同标准的数据如何建立关联,如何打通等等。这些需要有一整套标准和成体系的架构来支撑。而且需要在更高层次上进行统筹、规划,来进一步实现数据的整合。这是开放性的问题。其二,随着现在市场的火爆,大家都有些浮躁。市场在这个领域里显得有些急功近利,这个现象也是很明显的。一方面大家都热衷于对商业的挖掘,却轻视对基础研究和基数建设的投入。没有基础就想获取商业价值,无异于空中楼阁,这是急功近利的表现,不利于整个行业的发展。另一方面,大数据领域人才匮乏,同时鱼龙混杂,滥竽充数者众。尤其大数据是新兴领域,人才非常重要,也是让这个领域真正发展的基础。大数据领域需要方方面面的人才,包括数据技术、数据分析、数据挖掘、数据应用,还有数据的安全、管理,商业化,运营,市场等。这些都要求从业者具备相应的专业知识和业务基础。这样的复合型人才投入到这个领域里,才能推动大数据行业的发展。现在人才方面的缺口比较大。其三,就是大数据基础依旧薄弱。从顶层设计到统筹阶段都不是特别完善。我们的规划落地时出现了很多问题。比如,在地方上安排了很多试点,但数据是全局性的、完整性的。如果只采用传统试点的方式去推动、打开的话,有时候是很难见成效的,这也是需要从顶层设计上考量的。企业也是一样的。企业参与到数据产业里,也需要考虑如何全盘布局,从更高层次架构,设定一个标准、机制,让更多的企业可以融合到一起。数据给我的启示是数据的共生共赢模式,很难想象有一家企业把整个行业、整个领域都覆盖。这个过程是不可想象的,也是不现实的。
回到问题本身。过去几十年,互联网和移动互联网的发展很大程度上最终是趋于垄断的。数据时代的到来,我认为初期阶段从细分和垂直的方向延伸,最终再走向联合的过程。这个过程需要一些时间。
紫数网:BAT 三家应用大数据广泛,您对这三家怎么看?
丁齐:行业内,大家有一个共同的感受,就是数据向着 BAT 三家靠拢,由他们整合相关领域、相关行业的数据,实现局部的联合。但是我个人认为,整个产业不是靠几家公司、也不是若干公司就可以支撑起来的,而应该是全局的、系统的组成。比如说,在未来大数据时代下的市场应该是这样的关系:在监管层和在基础投入层,是国家、地方政府和相关的研究机构来参与的,他们涉及到顶层设计,来制定规则;再到具体的执行层面,数据商业化,需要有不同的行业,不同的领域和不同的应用场景下的企业,甚至组织机构,来整合相应场景下的数据资产。在国家统一标准的体系架构内,进行数据的交换、融通,从而在相关领域里具有针对性地、更有效率地优化自己的服务。我认为这才是一个良性的、可持续发展的模式。
BAT 三家把我们所有的行业、领域、市场、应用场景都垄断掉,是不现实的;即便做到了,也不是一个良性的市场格局。长远来看的话,最终市场的变化还是应该有一个从上到下的全局规划和生态的建设。
紫数网:2017年,大数据领域会更加热门,谈谈您对于这一年大数据领域的发展有什么样的看法吧。
丁齐:总体来说有三点看法:首先,我们希望有更好的顶层设计,需要从上到下系统的、全局的、基于整体的大数据产业规划,并且在框架基础上出台相应的规则,来推动整个行业的数据流通。我觉得这是一个前提工作。世界上很多发达国家已经比较领先了,在这方面也有了很多尝试,而我们国家在这方面走得还比较保守、滞后。如果在下一个大的时代到来之前,我们不能把基础工作做得更扎实一些、推动得更快一些,我们可能在下一个 DT 时代,仍然处在被动的状态。这是第一个。
第二个是在整个数据产业的格局上,我们期待着进一步加速融合和整合。刚才我们说,在大的行业上我们需要领域、场景、行业的细分,有专业度,但是在垂直的行业领域里,会逐渐地形成格局,也可能在某一个领域里聚拢出一个巨头。比如说医疗健康、金融、交通运输、人工智能、 VR 、 AR 等等细分领域,逐渐地会出现格局上的变化。在各个细分领域里,可能会出现一到两家巨头,来统领整个行业。这样也会加速和进一步推动数据的整合和流通。这是一个可以期待的趋势。
另外,我个人认为在前沿的应用领域里,尤其是在今年,我们会看到一些新的突破和耳目一新的变化。比如说基于人工智能的机器人领域,我们会看到更大的成果,在大数据的支撑下,这一方面会迎来高速发展。包括虚拟现实这样的应用场景,也会取得非常大的发展。还有无人驾驶、医疗健康、生命科学,这些跟人的工作、生活息息相关的领域将会率先取得突破,因为它们都来自人内在的刚性需求刺激、驱动;而在刚需的刺激和驱动之下,这些领域也会更快速的运用大数据,来 服务于 人类在工作、生活、学习等各个方面的诉求。这是一个良性循环体系 。
数据分析咨询请扫描二维码
必备的职业技能 统计学基础 - 理解概率、假设检验、回归分析等统计概念。 - 运用统计方法对数据进行分析和解读。 编程能力 - 掌 ...
2024-11-27基础课程 - 统计学基础: 统计学是数据分析的基石,包括概率、假设检验、回归分析等基本知识。这有助于分析师更好地理解数据背后 ...
2024-11-27数据分析领域涉及众多工具软件,涵盖了从数据处理、分析到可视化的各个方面。在选择适合自己需求的工具时,需要考虑数据规模、分 ...
2024-11-27在数据分析领域,选择合适的工具至关重要。不同的软件适用于不同的需求和技能水平。以下是几款值得考虑的数据分析软件: - Table ...
2024-11-27数据分析中常用的Excel与Python函数公式涵盖了广泛的应用场景。掌握这些基础和高级技巧对于成为一名优秀的数据分析师至关重要。 ...
2024-11-27Python是一种高级编程语言,由荷兰程序员Guido van Rossum于1989年圣诞节期间开始开发,并于1991年首次发布。Python的设计哲学强 ...
2024-11-27课程内容 数学基础: 高等数学、线性代数、概率论与数理统计、微积分等为算法设计和数据分析打下基础。 编程与算法: 掌握 ...
2024-11-27爬虫工程师是互联网时代中至关重要的职业之一,他们的工作内容主要涉及编写和维护网络爬虫程序,进行数据采集与清洗,设计系统架 ...
2024-11-27技能需求 数据管理与建模 - 掌握SQL、HiveQL、Spark SQL等数据库语言,进行复杂数据查询和分析。 - 使用数据建模工具如ER/Studio ...
2024-11-27技术技能 - 编程技能 - 掌握SQL、Python、R语言等编程工具是基本要求,可用于数据提取、清洗和分析。 - 数据分析与建模技能 ...
2024-11-27财务数据分析职业展望 - 需求激增: 随着企业信息化和数字化进程的加速,财务数据产生和积累速度急剧增长,推动了财务数据分析需 ...
2024-11-27技术技能 数学与统计技能:数据分析师需要具备扎实的数学基础,包括统计学、概率论、多变量微积分和线性代数等知识,以帮助理 ...
2024-11-27选择适当的工具和软件 选择恰当的工具对于创建出色的数据分析图表至关重要。Excel提供强大的数据可视化功能,R语言的ggplot2包 ...
2024-11-27初级市场分析师在工作中面临着重要任务之一:评估竞争对手的表现。这项工作不仅有助于描绘行业竞争格局,还能帮助企业发现自身的 ...
2024-11-27基础知识的建立 要想在数据分析领域脱颖而出,首先需要打好坚实的基础。 数据分析的基础知识十分重要,其中包括统计学、概率论、 ...
2024-11-27# 要学习Python数据分析 掌握Python基础知识 - 首先需要掌握Python的基础知识,包括基本语法、数据结构(如列表、元组、字典等) ...
2024-11-27学数据分析能在什么单位工作 数据分析的就业领域概述 数据分析专业毕业生广泛应用于各行各业,包括但不限于以下单位: 政府机关 ...
2024-11-27想学数据分析需要学哪些课程 数据分析学习路径推荐 基础课程: 统计学: 统计学作为数据分析的基石,涵盖概率论、描述性统计、 ...
2024-11-27# 现在什么行业发展前景最好 **人工智能与机器学习** - 人工智能技术快速发展,广泛应用于智能家居、自动驾驶等领域。 - 具备巨 ...
2024-11-27# 未来最有前景的行业 **人工智能与机器学习** - 人工智能被认为是未来最具潜力的行业之一,其应用范围广泛,包括智能家居、医 ...
2024-11-27