大数据在企业中的应用
2015年9月10日,首席数据官联盟成立仪式暨第一届首席数据官大会在北大召开,本次活动由中国新一代IT产业联盟和易观智库联合主办,中国新一代IT产业推进联盟技术分委会秘书长鲁四海发表演讲并参与对话讨论。本次对话环节由易观智慧院副院长葛涵涛主持,参与对话的嘉宾有北大电子政务研究院副院长杨明刚、壳牌中国CIO徐斌、华为大数据总监刘冬冬、北京瀚思安信科技有限公司联合创始人董昕。各位嘉宾从大数据在企业的应用、人才队伍建设等方面进行深入讨论,以下是对话实录:
葛涵涛:首先我想请大家做一下自我介绍。
刘冬冬:今年上半年开始代表华为做大数据生态圈的建设,我们这个生态圈是1+6的模式,华为提供公有云,大计算等服务,与数据挖掘,商业应用,数据可视化展示等合作伙伴,国内筛选200多家大数据公司,和比较核心的合作伙伴,开始了第一批,第二批,第三批的流程,第一批选择16家签约,第二批还有十几家,今年年底会完成初步50家的合作伙伴的合作。
徐斌:壳牌品牌是比较大的公司,壳牌中国业务比较大,壳牌中国在今年已经是121年了,1894年正式进入中国了,就没有离开。目前我们在中国的业务有上油的油气的开采,中油的炼化等业务。大数据在壳牌的应用历史比较悠久,我们开采油田的时候需要用海量的数据做分析,帮助我们在哪里打井更有效,如何保证制造环节更顺畅,更早的发现潜在的风险,这方面有比较多的应用。针对我们几百万的用户,也在做很多的和社交媒体的合作,掌握我们的客户,留住我们的客户,寻找新的商业机会。今天很高兴有机会和大家交流大数据,特别是我们传统行业如何使用大数据。
董昕:谢谢大家,我们是瀚思大数据安全,一个新的创业公司。大家想安全和大数据有什么关系?其实有非常深的关系,我们后面有机会再和大家讲。我们这个团队是2014年成立的,主要成员是来自于埃森哲、甲骨文等这些公司。我们致力于把大型企业云中心、互联网里面所有跟安全相关的,跟业务、应用安全相关的数据做统一大规模的存储、挖掘、学习和展现,帮助IT从业者,运维人员,甚至企业的领导层从数据终发现一些跟安全相关的东西。希望通过数据驱动整个行业,和整个企业实现由传统的基于防御的安全策略,转向主动智能的安全策略。我们成立一年多,我们公里56人,40多个人都是研发人员,数学科学家等跟数据相关的人员。非常高兴有机会和大家探讨比较新的行业。
杨明刚:非常感谢主办方的邀请,很多朋友可能了解电子政务,电子政务就是政府的信息化,还有所谓的智慧城市,还有数字城市。在过去一年多,一直做政府相关的信息化的应用,包括顶层设计。现在随着大数据概念的提出以后,应用和需求在过去一直存在,只是提升了一个水平。电子政务这块近两三年提上很重要的地位。电子商务对大数据的需求也是蛮多的,过去三四年,我们一直研究政务数据和商业大数据,非常高兴和大家探讨数据和首席数据官未来在整个企业决策和政策决策中的作用。
葛涵涛:我们的各位嘉宾对大数据,对数据资产进行了前期的描绘和支撑。我们都知道现在大数据产品和数据产品数据来源非常广,包括来自于智能设备,可穿戴设备,来自于金融,来自于终端设备。有了大量的数据,基于数据进行挖掘和分析,数据产品化以后,再将数据产品应用到业务中。但是这些数据产品安全性怎么样?针对数据安全和用户数据隐私与大数据是什么关系?
杨明刚:我先从价值方面跟大家分享一下。美国有一本书《数字化生存》目前这个社会,随着网络的发展,我们所有的网络,所也的社会的形态都可以用数据来表达,这个时候无论是政务数据,还是商业数据,还是个人数据都可以用来提供,或者给我们未来决策提供参考。无论是政府治理,还是企业的科学决策,或者个人未来合理的消费计划,都可以从数据中提取到相关的决策参考。所以这块,其实所有的数据,看似杂乱无章,各种非结构数据和结构化的数据,通过适当的方法处理,或者通过数学模型处理,能够给我们管理和决策带来新的支持或者更大的支持,这是我对整个目前数字这块所谓的资产,数据是可以增值的资产。
其实我们有了互联网以后,每个人在网络上,无论是购物,还是通过社交工具或者社会化媒体发表相关的看法或者思想等,我们在网络上留下了大量的数字的网络痕迹,其实提取这些痕迹,包括相关的特征,用一定的方法去分析,就可以找寻每个人或者相关的机构未来的表现。这个东西在这里面,有很多东西涉及到个人隐私,可能在这里买的房子,或者附近相关的消费,根据你的社会属性可以判断你未来的行为。从某种行为来说,会让我自己感觉很不舒服,但是这些信息是通过我们允许的放在网络上,只是相关的机构提取过来做一些加工,可能对个人的隐私或者个人尊严是一种挑战。随着国家立法的完善,我相信网络的隐私权保护会逐渐解决。
董昕:其实好恶夸张的说,我们在座的每一个人都不安全,在网络空间,无论是你产生的数据,还是你的痕迹,还是你的隐私,或多或少在自己的手机里,PC里,或者是服务器端,安全和隐私可能是永恒的话题,比较大,我就不展开讲了。从我们的角度来说,我们更关注的,从一个角度如何把核心的数据,核心的资产保值增值,安全隐私的问题。无论是大数据下面的数据隐私,数据安全,还是小数据的数据隐私和数据安全方法论是一样的。在管理制度上怎么进行保障?
过去谈论到数据安全,更多的时候是靠技术手段为主,所以才会出现各种各样的防火墙,加解密设备,数据防泄漏,防入侵。这些东西都有用,但是无法解决所有的问题。要不然也不会出现JP摩根信用卡数据泄漏等问题。我们需要拥抱新型的技术,新型的平台,通过技术本身解决安全问题。
另外一个国外很多报告中都写到了,设备本身控制数据资产不太现实,我假设所有的东西都是不安全的,把所有的东西都放一个安全体系,这是国际探讨的问题。我们怎么用新型技术保护数据安全,同时结合技术,如何使安全管理的流程和措施,能够在企业中获得更多的认识,从而解决这个问题。
葛涵涛:关于数据能力开放的问题,在之前大数据会议上,阿里集团代表上讲过,阿里的数据不开放,他们是不是有数据安全的考量。因为他们收购了高德等一系列的社交和位置的公司,掌握了用户全维度的数据,这是出于隐私保护,基于安全的数据开放,还是比较遥远的话题。刚才我们在CDO调研报告里面,在未来的数据业务和大数据技术方向上,在行业领域里面的发展是非常重要的,我想请刘冬冬和徐总分别谈谈,比如说大数据业务,还有数据资产等等相关的技术和服务,在你们相应的通讯和能源行业怎么与你们的业务结合落地的。
徐斌:像大数据的应用,在我们自己的传统行业会产生什么样的作用?我们自己内部把大数据的企业进行划分。从企业决策中大数据起了很多的作用,同行用爆破的方式采集信息,帮助我们判断出这个地方打一口井效率是不是高,因为每一口的井的成本是上百万的,提高10%的成功率是很可观的,这是决策支持。
第二个是运营优化,比如说油站地下油库存在非常大的隐患,汽油和柴油泄漏的时候,一对环境造成很大的风险,第二对地下水有影响,甚至产生爆炸。一旦发生这种情况,通过大数据技术能不能提前发现潜在的泄漏风险。通过对比站的分析,提前发现是否存在不适当的损耗的发生,从而发现风险。
第三个就是市场营销,在我们消费互联网层面谈了很多,我们怎么样找到客户的特性,延伸业务领域,包括业务合作。另外通过合作,找到我们潜在的客户。像今天的孙总,我们客户最典型的,对油品的质量要求比较高。我们从互联网找到这个维度,在电商上购买率很高的,经常谈到汽车的,这两个碰撞就能找到潜在客户。
第四个就是企业安全进行风险管控。能源行业是高危行业,包括油品配送过程中,配送的时候出现问题,可能出现爆炸的风险,包括成本的增加。因此我们在海外作业的时候,不能很好及时发现风险,可能造成重大的人身伤害,包括知识产权的保护,有跟多配方,这是很关键的,这个怎么防止黑客攻击。这个和董总有相关性,企业安全,人身的安全,包括信息安全。
第五是业务创新,第六是模式变革。这两个把我们传统的,我们通过卖汽油变成我们可能变成第三方汽车服务后市场。以后我们油品可能免费,免费的意义在于盈利模式通过后面衍生的新业务,就是羊毛出在猪身上狗来买单。这就是大数据在我们能源行业6方面的价值。
葛涵涛:我们原来做过石油远程管道安全监护。现在俄罗斯他们传输的油气管道,很多油气管道每隔多少公里就有检查油压、温度,还有油管表面的状况,加入了很多传感器,获取管道表面的数据,另外还有相应的机器人,会在轨道上定期巡逻,用光来检查表面的状况。将这些数据全部汇总在当地的数据中心,最后汇总到欧洲数据中心,如果正常就显示为绿色的。大数据帮助能源运输企业,在你发生问题之前就帮你预测问题即将在什么时间大概发生。在发生之前进行预警,我觉得这个也是大数据跟商业智能整合的非常好的一个案例。
徐斌:在我们石油行业,特别是化工行业,生产行业一旦有一些事故终止生产,想恢复是非常长的时间,一般是三个月,三个月损失多大。越早预测到危险,提前采取措施,效率是很明显的。
刘冬冬:我们通讯行业跟石油行业是很像的。我们华为也会装各种各样的传感器采集数据,知道什么地方有什么问题,然后解决问题。比如说一个大型会场,一个足球场,数万人,大家都在发微信,这个时候能不能发出去,信号如何?这是我们自身运营商的应用场景。衍生出来的应用场景,如果华为或者运营商更早的把大数据应用到企业的经营管理等等各个维度中去,就不会发生像上海那样的踩踏事件。当外滩单位面积内聚集的人口超过一定量以后就应该有一个预警,告诉相关的管理部门,公安也好,告诉相关的部门人说这个地方已经超多了,通过手机我们可以捕捉这个信息。我们在大数据行业刚刚起步,我相信将来所有的行业,都会面临变成以数据为驱动,或者以数据为核心驱动力的,而不是像以前以产品为驱动力,以渠道或者品牌为驱动力的。以数据为驱动力的话,这个问题是蛮大的,作为华为来说,现在从各个方面改为以数据为驱动力。从宏观来说,我们将要做什么,我们要做哪些产品,这些都可以通过数据给我们进行指导。
在大数据产品里面,哪些是最需要的,哪些是最急迫的,我们可以通过分析挖掘出来,这个可以指导我们企业将来做什么,不做什么。从很小的细节来说,华为2016年找谁做手机形象代言人,我们可以用大数据做。华为手机的粉丝超过100万。这些人共同关注的是谁,他们共同兴趣爱好是什么?他们每天什么时间上网,数据的统计就告诉我们了,不需要决策部门每天坐在一起拍脑袋决定是谁,不是谁。刚才说到数据安全问题,我认为数据安全和技术是矛和盾的问题。现在接受就可以了,当我们现在收到骚扰短信垃圾短信,为什么会收到,是因为他们掌握了我们手机信息。当企业掌握了很多的信息以后,这时候就造成可以满意度的问题,让数据决定数据安全,让市场决定技术到什么程度,自然会有优胜劣汰,服务好的企业就会持续发展,服务部好的企业就会死掉。
葛涵涛:我们对用户数据掌握的越来越多,我们对数据精准分析越来越多,我们传递出来的消息就是精准营销,传递的信息就是有用的信息,而不是垃圾信息。这实际上对我们大数据企业,对技术和算法提出了更高的要求。如何通过大数据分析方法寻找数据中隐藏的,还没有被发现的价值和知识。
杨明刚:其实所谓大数据,大价值,大数据应该不是大忽悠,我为什么这么说?因为我在过去一段时间,有一个地方政府,某一个行业部门在使用大数据,但是建完的大数据系统无法满足他们的业务需求。我们传统的大数据,一部分是对现有数据的发现,这就是数据检索,传统的数据方法就可以做到,对已知的东西,已知的问题,每个数据单元都是了解的,这时候无论是结构化数据,还是非结构化数据,我们可以带着问题找到蛛丝马迹,问题存在什么地方。另外一部分应该是预测的部分,就像海尔孙总谈到的问题,其实可以预测。业务管理专家和业务模型建构专家需要有一个紧密结合。大数据其实是一件奢侈品,对华为这样的产品,对我们海尔这样的企业,对壳牌这样的企业是可以投得起资金的,大数据是奢侈品,但是绝大部分的中小企业也需要科学决策,也需要了解市场需求,这时候面临很重要的选择,要面临高昂的成本建立系统,这是不可能的。但是绝大多数的大数据企业都需要高投资,中小企业怎么通过在数据时代不被淘汰,需要大数据解决方案提供商,或者需要大数据研究者提供一种更典范的,或者更普世的大数据解决方案,不是依托与传统的数据检索,或者传统的数据包装实现大数据的方案,而是需要跳出传统的大数据分析方法之外,能不能有另外一种更科学,更普世的方法,让我们很多中小企业都能享受到当今的大数据服务,需要我们在座的一起探讨。实际上个人也需要大数据服务。
葛涵涛:跟简单,更方便使用的大数据产品,方便企业减少这方面的预算,让更多的人使用大数据带来的便利。
杨明刚:中国的天气预报部门利用大数据是最好的,把过去一百多年的历史数据拿过来进行预报。真正的大数据是对未来可能的知识的发现,通过大数据发现潜在的数据之间的关联。
葛涵涛:实际上我们刚才提到了各个不同的行业和企业对大数据的应用,因为你在北大做了十年CIO方面的培养,你们对CDO这方面的人才培养有什么样的动作和支持。
鲁四海:我们也在探讨,刚才我们在PPT里面分享,首先为什么会有这样的角色存在,驱动力是什么?然后再说需要什么杨得技能?我觉得CDO有一部分的东西需要从课堂学习的,偏技术这块的,能涵盖技术和基础管理这块。CDO需要有一些经济学的基础在里面。大数据更大的是告诉我们未来是什么样,告诉我们一些未知的东西。不是提一个假设,拿数据进行分析证明这个假设是对的或者是错的,这个意义不大。真正的意义能够告诉你未来是这样的。我觉得CDO在培养过程当中,除了课堂学习以外,还要跟内部的业务部门进行内部的学习和交流。因为我们面临着未知的世界,更多的需要广阔的舞台,像CDO联盟一样,未来我们做一些交流性的东西,各个行业,不同行业的方式方法进行跨界整合,因为数据在这个时代就是跨界。
葛涵涛:下面我们请我们在座的各位嘉宾,用简单的一两句话展望一下大数据时代下,我们这些数据管理人才,CDO们如何在整个大数据背景下做好我们的工作,能在工作上出新出彩,在我们业务设计上有相应的业务创新。
鲁四海:应该说任何一个行业任何一个企业的数据都是资产,每个企业都将拥有将数据变成核心竞争力的能力,这个能力可能是自建也可以购买服务获得。
杨明刚:大数据应用成为未来决策的核心推动力,今天的大数据不能成为大忽悠。
董昕:我们谈了很多技术方面的话题,我觉得一个CDO第一应该有大数据的理念,未来主要的价值都是数据。另外一点,我们认为作为一个CDO,一定要跟我们业务相联系,懂我们的业务,知道我们的收入从哪里来,成本在哪里,效率从哪里提升,这样CDO才能落地。
徐斌:数据本身有没有价值,我个人认为数据是没有价值的,虽然我今天讲了很多大数据。只有当数据能帮助企业产生价值的时候才能成为有价值的资产。我经常说数据资产,每个公司都有大量的数据,他们不是资产,因为它没有用。数据只有成为有用的信息,成为知识,变成智慧,它才是真正的数据资产。不要神话大数据,大数据产生业务的价值,产生商业的价值才叫大。第二我们企业有CDO,或者有虚拟CDO职位,通过其他的CIO、CMO承担。最主要的是脚踏实地,循序渐进,如果你不把企业的数据用好,谈何大数据。如果企业没有从数据支持决策的文化,大家做任何事情不用客观数据帮我们做分析,给你再多的数据也没用。首先是企业文化。第二把现有的数据用好,然后循序渐进引用更多的数据做分析。通过数据发现未知东西,这是伪命题。因为你发现未知东西,因为你不知道,原因是什么。当形成智慧知道为什么会发生,这是我们追求的目的,只不过我们现在不知道,所以通过相关的分析找到了相关性,但是不知道原因。未来当我们有足够多的知识积累,我们就知道原因了。未知领域是大数据的使用阶段。
刘冬冬:大数据这块没有找到盈利模式,没有找到市场,推不动。现在大家找到了盈利模式才推下去了,这才是有用的,大数据有用才是硬道理。对于CDO来说,我认为跨界才是最重要的。不光要有知道企业内部的小数据,同时也要知道外部的数据如何和企业内部的数据相结合。比如说做销售的,系统能不能很快的告诉员工,这个公司销售额有多大的产能,以及其他合作公司等等的情况,有价值才是最重要的。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21