BAT可以应用大数据,不能垄断大数据
大数据是互联网时代发展成熟的产物。海量的数据充斥在我们身边,只是很多人还没有察觉。但有这样一些人,他们听到了海啸袭来的声音,率先迎着浪潮而去 。
紫数网的创始人丁齐先生就是这样的人。本期《中国数据人物专访》请他来谈谈他对于整个大数据产业的看法和见解,还有他的创业经历。
以下是采访实录。
紫数网:先谈谈您对大数据的见解吧,或者说您怎样理解大数据?
丁齐:这个问题得从两个角度来回答。一个是大数据是什么,怎么理解它;第二个是它发展得这么快,核心价值是什么。
对大数据最广为人知的解释是4V:Volume——它的规模、Variety——它的多样性、Veracity——它的真实性,还有一个Value——它的价值① 。而用更为本质的角度来理解大数据,它应该是一个完整并连续的,有效的,同时也是无限增长的数据集群,它的体量和质量决定它的价值大小。
大数据的核心价值是什么呢?有两点。一个是它让人们用全新的眼光去认识这个世界,同时它还是推进商业和科技发展的源动力。
还有一些值得我们深思的问题:大数据发展到今天,从早期的萌芽,到大众逐渐对这个事物有了认知,再演变到大家都开始热炒,在任何场景下都可以提到 “概率产业论”。 到了这样一个地步,我们反而应该回过头去冷静地思考一下,如何面对和处理数据。
紫数网:我们现在在网络上看到一个观点,说传统数据分析并不属于大数据。您觉得大数据分析和传统的数据分析有什么区别呢?
丁齐:实际上这个区别还是比较明显的。一般情况下,传统数据分析是在我们可描述的范围内去采集相应的样本,采用的是一种有限的维度和分析方法,在一定的范围内去分析数据样本,运用经典统计分析的方法和模型去总结规律或揭示问题的本质。
现在的大数据采用的是一种全新的技术手段和分析思路,为什么呢?首先它基于实时的、连续的数据集,对这个实时的、连续的、海量的数据集进行探索式的发现,而不是假定一个范围、一个逻辑,按照因果关系来分析归纳。这是他们的本质区别。
举个针对在校学生的大数据应用案例。学校要统计全校学生今年期末考试成绩的及格、达标和优秀各自占的比重,那我们可以根据设定的范围,是全市的、全省的还是全国的,类似这样的范围去采集样本;根据这个样本,再去分析刚刚说的问题。假设全国范围内,今年高等教育阶段的学生有多少人的成绩是达标,有多少人是优秀,没过关的是多少,统计出一个数据来。这就是传统的数据统计和数据分析的典型应用。
同样在这个项目案例中,大数据层面研究的是,全国整体高校学生他们每天在做什么?学习习惯是怎样的?他们的偏好是什么?日常在看些什么?关注些什么?他们遇到的问题有哪些等等。大数据分析关注的是更全面,更细节,更贴近用户本身的特征和行为。这种数据思维无限接近研究对象的本质。
所以说,大数据跟传统数理统计所关注的要点和所采用的方法论体系是不同的。前者是基于因果关系在一定样本抽样的范围内进行分析归纳和推理预测,并形成结论;而后者则是通过不断地跟踪、积累,基于一个相对完整的全集数据集群中通过探索式挖掘,尝试发现前所未知的特征或规律。
紫数网:为什么想到创立紫数网这样一个网站?
丁齐:是这样的,我从事这个领域已经有十年左右的时间。我比较热衷于数据信息领域的分析研究和应用实践。从数据里面,我们可以找到很多有趣的规律、现象,利用这些规律和现象,我们可以为企业和社会创造更多的价值。其实最主要的价值点在于不断提升决策效率,不断驱动对未来的洞察,不断推动我们对管理和决策机制的优化,使整个管理和运营效率能够不断的提升,从而在竞争激烈的市场环境下立于不败之地。这就是我创立紫数网的初衷。
紫数网:您在创业过程中有没有遇到什么困境?是怎样解决的?
丁齐:当然,有
总结起来主要有两个问题。第一个是人才,就是团队问题。在初创阶段,和快速成长不断晋级的关键时期,都要面对这个问题。这个问题的核心是思维意识的问题。这时候应该思考如何摆脱既定思维,能跟上时代的脚步;应该敢于直面当前市场所发生的变化,去理解、洞察、深入到当前的市场中去,主动拥抱市场,才能真实的感受市场 ——市场变了,我们的意识和思维不去发生相应的变化,那我们就等于坐以待毙。
第二个问题是资金问题。这是一个所有公司可能都要面对的问题,尤其对于初创的团队。说白了,有再远大的理想、再好的商业模式和团队,征程中都需要先解决吃饭问题。
在这一点上,我的应对方式是这样的。首先对内,我们始终强化信心。这个信心来源于我们的初心,那个对我们既定的未来事业的强烈愿景,这是我们整个团队信心的基础。如果对未来看不清楚,对未来的方向始终摇摆不定,那就谈不上什么信心。信心不牢固,遇到挫折就很容易崩溃。有了信心这个法宝,就相当于掌握了5 成的资本 。
但是光有信心也不行,还得积极拥抱市场和资本。我们是这样面对投资人的:首先我们有了信心,对未来有了清晰的目标和判断,在此基础上,高效的执行力比华丽的 PPT 更能有说服力。最终,通过执行力和成果来赢得资本的青睐和支持,不仅解决眼前的生存问题,还极大的提升了竞争实力和执行效率,形成创业和资本之间的良性循环。
紫数网:您认为大数据行业的发展现状如何?存在哪些问题?
丁齐:事物的发展都有一个过程,不能一蹴而蹴。当然,大数据的概念从十几年前被提出来,到现在经历了好几个阶段,不断地去完善,到今天为止,我们从实际的市场发展来看,发现大数据走到今天呈现几个趋势。
第一,大数据产业整体发展迅猛。从现况来看,大数据行业的发展在方方面面都取得了很大的进展。尤其是随着移动端、智能端不断的优化,数据的体量越来越大,增量的变化也越来越快。在以前,一个 PB 的数据可能需要积累很长一个 周期 , 也 伴随 很大的一笔 投入,一个企业积累一个 PB 的数据可能需要几年的时间; 但随着 智能硬件、可穿戴设备,以及工业 4.0 所催生的物联网的蓬勃发展,一个企业一天 就能 形成 1PB 的大数据,所以说数据的增量变化会很明显。数据的 存量 会以指数级的速度爆炸式增长。在这样的大背景下,大数据将会迎来更快、更大的发展。
第二,大数据正在沿着不同的领域、不同的行业纵深发展。比如说,在医疗健康、人工智能、生物制药以及金融等领域都有了很深的研究和应用。在金融领域,现在比较热门的是在区块链和虚拟货币的方向不断发展,也看到了未来巨大的市场潜能。我们看到了这样一个机会,当然,到现在为止还没有走到很成熟的商业化阶段,但是可以很明显地看到未来的趋势。
第三,大数据的商业化诉求日趋紧迫。比如说我们看到很多企业从进入这个行业到经历前期的困难和挫折的考验,再到今天商业化的阶段,也提出了一些自己的想法;在商业模式的探索上,也呈现了百家争鸣的局面。这给我们透露出一个信号,这个时代下的大数据企业都在摸索、尝试如何让整个产业真正实现商业价值。
在这个过程中,我看到几个问题。其一是任何事物想要发展、最终实现商业价值和商业化的爆发所必须经历的过程——开放。在数据领域里,一直在提倡开放性、融合,但是一直到今天,我们所希望达到的境况还是没有达到,离我们期望的那个目标还有很长的一段距离。所以说在这个过程中我们还有很多问题需要解决,很多课题需要攻克。比如,数据的标准化 , 个人隐私 , 公共安全等。来自不同的场合,不同的维度,不同标准的数据如何建立关联,如何打通等等。这些需要有一整套标准和成体系的架构来支撑。而且需要在更高层次上进行统筹、规划,来进一步实现数据的整合。这是开放性的问题。其二,随着现在市场的火爆,大家都有些浮躁。市场在这个领域里显得有些急功近利,这个现象也是很明显的。一方面大家都热衷于对商业的挖掘,却轻视对基础研究和基数建设的投入。没有基础就想获取商业价值,无异于空中楼阁,这是急功近利的表现,不利于整个行业的发展。另一方面,大数据领域人才匮乏,同时鱼龙混杂,滥竽充数者众。尤其大数据是新兴领域,人才非常重要,也是让这个领域真正发展的基础。大数据领域需要方方面面的人才,包括数据技术、数据分析、数据挖掘、数据应用,还有数据的安全、管理,商业化,运营,市场等。这些都要求从业者具备相应的专业知识和业务基础。这样的复合型人才投入到这个领域里,才能推动大数据行业的发展。现在人才方面的缺口比较大。其三,就是大数据基础依旧薄弱。从顶层设计到统筹阶段都不是特别完善。我们的规划落地时出现了很多问题。比如,在地方上安排了很多试点,但数据是全局性的、完整性的。如果只采用传统试点的方式去推动、打开的话,有时候是很难见成效的,这也是需要从顶层设计上考量的。企业也是一样的。企业参与到数据产业里,也需要考虑如何全盘布局,从更高层次架构,设定一个标准、机制,让更多的企业可以融合到一起。数据给我的启示是数据的共生共赢模式,很难想象有一家企业把整个行业、整个领域都覆盖。这个过程是不可想象的,也是不现实的。
回到问题本身。过去几十年,互联网和移动互联网的发展很大程度上最终是趋于垄断的。数据时代的到来,我认为初期阶段从细分和垂直的方向延伸,最终再走向联合的过程。这个过程需要一些时间。
紫数网:BAT 三家应用大数据广泛,您对这三家怎么看?
丁齐:行业内,大家有一个共同的感受,就是数据向着 BAT 三家靠拢,由他们整合相关领域、相关行业的数据,实现局部的联合。但是我个人认为,整个产业不是靠几家公司、也不是若干公司就可以支撑起来的,而应该是全局的、系统的组成。比如说,在未来大数据时代下的市场应该是这样的关系:在监管层和在基础投入层,是国家、地方政府和相关的研究机构来参与的,他们涉及到顶层设计,来制定规则;再到具体的执行层面,数据商业化,需要有不同的行业,不同的领域和不同的应用场景下的企业,甚至组织机构,来整合相应场景下的数据资产。在国家统一标准的体系架构内,进行数据的交换、融通,从而在相关领域里具有针对性地、更有效率地优化自己的服务。我认为这才是一个良性的、可持续发展的模式。
BAT 三家把我们所有的行业、领域、市场、应用场景都垄断掉,是不现实的;即便做到了,也不是一个良性的市场格局。长远来看的话,最终市场的变化还是应该有一个从上到下的全局规划和生态的建设。
紫数网:2017年,大数据领域会更加热门,谈谈您对于这一年大数据领域的发展有什么样的看法吧。
丁齐:总体来说有三点看法:首先,我们希望有更好的顶层设计,需要从上到下系统的、全局的、基于整体的大数据产业规划,并且在框架基础上出台相应的规则,来推动整个行业的数据流通。我觉得这是一个前提工作。世界上很多发达国家已经比较领先了,在这方面也有了很多尝试,而我们国家在这方面走得还比较保守、滞后。如果在下一个大的时代到来之前,我们不能把基础工作做得更扎实一些、推动得更快一些,我们可能在下一个 DT 时代,仍然处在被动的状态。这是第一个。
第二个是在整个数据产业的格局上,我们期待着进一步加速融合和整合。刚才我们说,在大的行业上我们需要领域、场景、行业的细分,有专业度,但是在垂直的行业领域里,会逐渐地形成格局,也可能在某一个领域里聚拢出一个巨头。比如说医疗健康、金融、交通运输、人工智能、 VR 、 AR 等等细分领域,逐渐地会出现格局上的变化。在各个细分领域里,可能会出现一到两家巨头,来统领整个行业。这样也会加速和进一步推动数据的整合和流通。这是一个可以期待的趋势。
另外,我个人认为在前沿的应用领域里,尤其是在今年,我们会看到一些新的突破和耳目一新的变化。比如说基于人工智能的机器人领域,我们会看到更大的成果,在大数据的支撑下,这一方面会迎来高速发展。包括虚拟现实这样的应用场景,也会取得非常大的发展。还有无人驾驶、医疗健康、生命科学,这些跟人的工作、生活息息相关的领域将会率先取得突破,因为它们都来自人内在的刚性需求刺激、驱动;而在刚需的刺激和驱动之下,这些领域也会更快速的运用大数据,来 服务于 人类在工作、生活、学习等各个方面的诉求。这是一个良性循环体系 。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28