大数据落地正当时
当前,大数据技术的发展早已不再停留于概念普及和技术热炒阶段,更多的企业用户密切关注其落地问题,尤其是行业用户,他们更期望大数据能够为行业发展带来较大的助推力、创新力,而好消息是这种落地正在进行时。
大数据落地需冷静
过去的2014年是大数据逐渐沉静下来的一年,大数据正慢慢从由舍恩伯格《大数据时代》一书所引发的大众热潮中平静下来,人们开始更加冷静和理性地来看待和分析大数据,从最初的“概念”和“热炒”逐步走向“落地”。在对待大数据问题上,企业用户显得更加成熟,更快地适应了大数据带来的“新常态”,冷静分析、积极应对。
其实,大数据技术最早应用在互联网业务中,互联网的特点赋予了这个新兴技术在处理个人数据方面的优势和长处。互联网企业大胆尝鲜,最早将大数据技术应用于金融市场,开创了新的互联网金融服务模式。
如果利用大数据做到精准营销和风险防控,那么金融行业就能产生更多需求。网络银行利用大数据能了解优质客户在哪里,同时做到很好的风险防控体系,就能确定给哪些人贷款,做大业务。
而今,大数据热迅速进入各个行业,从处理个人数据到处理企业级数据,企业级大数据应用潜力无限。电信、电力、交通、卫生医疗等领域如果运用大数据同样能带来业务的大提升。
例如,通过大数据的精确计算,掌握信号灯的时间长短、车辆转向、设计道路的长短等等,城市交通会更顺畅;将各个省市的城镇医疗系统、新农村合作医疗系统全部整合起来,实现资源共享,就能获得个人健康系统、电子病历数据,然后利用大数据计算出个人患病的可能性和概率,由此衍生出疾病保险等更多险种;通过获取人们的用电行为信息,应用大数据的智能电网就能实现优化电的生产、分配以及消耗,电网安全检测与控制(包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测)、客户用电行为分析与客户细分,电力企业精细化运营管理等多方面,实现更科学的电力需求管理。
这些领域,正是当前可见的大数据从个人应用进入企业级应用的例子。然而,大数据在企业级应用的核心不是简单分析出有价值的数据信息,而是多了一个环节,对数据分析后产生的结果,要转换成企业自己的产品和服务。
通常认为,大数据进入企业级应用面临三方面的挑战:
第一,大多数传统企业应用系统没有大数据的技术支撑能力和所需的各种技术人才,需要将底层技术能力变成企业可以自己控制的应用开发能力;
第二,大数据运用之后对企业的决策模式是个挑战,需要转变为根据数据来做决策;
第三,企业大数据除了来自企业内部外,外部的大数据也必须集成到大数据中心,这就需要有效整合内外部数据,从原来业务处理模式转换为大数据的处理模式。企业在面临这些挑战时,就需要针对这些问题一一应对解决。
大数据给人们的生活、工作和思维带来巨大影响和变化。就科研领域而言,大数据有望改变或重构传统的科学探索和科技创新模式,从而形成某种全新的业态。科研数据是一种重要的科研资源,数据资源、数据能力今后将是一个国家或科研机构核心竞争力的重要组成部分和重要体现,这正逐渐成为共识。
新的历史时期,顺应大数据的发展潮流,如何更好地开放数据成为大家讨论的重点。近一两年来,数据立法问题得到越来越多的关注,科学界积极呼吁国家科研主管部门从战略高度,将之作为国家创新驱动发展战略的一部分,尽快制定和实施有关法律法规。
众所周知,过去,因条块分隔、局部利益等各种非技术性的壁垒或障碍,以及各种不合理规则、惯例、机制等的限制,使不同领域、不同学科、不同专业的数据开放和共享难以实现。在大数据时代必须通过适当的立法、机制和管理,来解决这些非技术性的壁垒,为实现科研大数据的增值扫清障碍。
当然,在数据开放和共享的过程中,必须充分考虑到知识产权、数据安全等问题,为大数据的发展和应用创造良好的学术、法律和社会环境。
IT厂商出招显身手
“今天的环境,随着在中国的客户需要创新的速度发生很大改变,我们的战略发生了很大改变。从为中国制造,‘Made for china’变成了‘Made with China’与中国一起创新。这不是口号,去年开始IBM大幅度开放自己的技术,使得跟中国的产业结合起来,使得在中国的IT产业获得更高的附加价值。”IBM大中华区首席执行总裁钱大群说道。
2014年是IBM大举向大数据、云计算、移动社交转型的一年。IBM与Twitter、腾讯,等新兴创新企业开展合作。在中国,IBM以全新的开放联合创新的姿态面对新环境。在大数据领域,先后与宝信科技、华胜天成、浪潮、用友、数慧科技、南大通用、正通汇智等本土合作伙伴展开合作,并拥有了包括鲁能集团、万得数据、上海虹桥机场、乐友孕婴童、飞鹤乳业、驴妈妈、民生银行、深圳儿童医院等各行业大数据客户。IBM还推出了U100计划,向100所中国高校捐赠价值1亿美元的大数据及分析软件。
《A100》计划主要发起者
IBM近期又宣布与香港中文大学市场学系对外贸易大学国际商学院、西南交大经济管理学院等联合推出“百企大数据《A100》”计划,免费为100所拥有B2C数据的企业提供大数据分析服务。IBM与慧科科技合作在“开课吧”网站上提供免费的MOOC项目。IBM在大数据领域的努力和成就得到业界的广泛认可。
2014年,Gartner,Forrester和IDC数据/分析软件和服务测评中,IBM都居于领导地位。据最近发布的IBM 2014年财报,IBM在云计算、大数据、移动、社交、安全等领域整体增长了近16%,达250亿美元,占IBM整体营收的27%。其中,作为IBM转型的核心战略,大数据业务增长了7%,营收达170亿美元。
在过去的一年,IBM通过授权软硬件技术和工具,正在帮助中国开发出自主创新的处理器芯片、服务器系统、数据库产品、中间件产品和操作系统,技术开放战略获得了工信部以及江苏省、北京市等政府的支持。
IBM大中华区数据与分析事业部总经理钟泽敏表示:“IBM将继续践行‘Made With China’的承诺,通过全新的开放协作的模式,与各界合作伙伴一道,通过IBM大数据能力支持行业实现转型升级,与合作伙伴共建中国大数据发展健康生态。”
去年,IBM启动科技合作伙伴计划以来,以技术共享、联合创新中心等多种合作模式,利用IBM的全球化视野、专业研发人才、行业洞察等,帮助本土合作伙伴突破创新束缚,以协作创新赋能行业创新。尤其在环保、交通、城镇化等民生领域,取得了卓越成就。
为了助力解决可持续发展的三大难题—大气污染防治、可再生能源高效利用和企业节能减排,IBM推出了一个长达十年的计划—绿色地平线”(Green Horizon) ,利用IBM的大数据分析和认知计算科技来进行北京地区的雾霾预报和应对建议。目前这个项目已经将雾霾的预报时间从之前的24小时提升到72小时,精度从之前的100平方公里提升到1平方公里,将能够为首都地区最终应对雾霾挑战提供重要支持。同样的科技,在行业和智慧城市建设当中都具有广阔的应用前景。
交通是城市发展的命脉,在各地智慧城市建设过程中,智慧交通都处于非常重要的位置。管好交通,需要同时管好车和路。利用车联网技术打通车辆制造、销售、服务、管理每个单元,达到对车辆的有效管理;通过智能交通技术,特别是大数据与分析优化来管理套牌车辆监察、疏通拥堵,提升车辆通行效率,这些是我们共同关心的话题。
车联网和智能交通都呈现数据量巨大尤其是非结构化数据大且数据分布广的特点,传统解决方案对诸如地理位置数据、图像数据都无法有效快速的支持。宝信与IBM正在合力应对这些交通发展难题,打造智能交通与优化的车联网方案。
上海宝信软件股份有限公司研究开发部总经理 董文生
上海宝信软件研发部总经理董文生表示:“IBM拥有非常多业界顶尖的大数据分析工具和模型,比如Cloudant可以实时分析多类型复杂数据,通过它可以实现诸如套牌车辆识别等艰巨的任务。相信我们的合作一定会在不久的将来为智慧城市建设作出贡献,而且这个过程不会太遥远。”
城乡规划对于中国的城镇化建设发展至关重要。城镇变迁所积累的历史文献、影像资料等海量信息,以及多部门协调所造成的复杂流程是当前城乡规划行业面临的两大挑战。数慧科技董事长元哲起表示:“数慧与IBM正在携手,利用大数据与分析构建新一代城乡规划业务处理系统,帮助相关部门应对复杂数据,简化流程,提升协作,推进城市的可持续性发展。”
IBM中国开发中心信息管理总经理 朱辉
IBM中国开发中心信息管理总经理朱辉表示:“我们IBM当然一如既往的是技术提供方,在这方面每年以几十亿美元的投入,未来将这些新的方向转。同时我们自己作为一家传统的IT技术的供应商,我们也在做转型,向云、大数据分析、移动、社交这几个方向转型。我们转的过程当中,意味着我们转向对产品研发的投入,但是我们更重要的一个转变是以一种开放的、合作的态度,来跟我们合作伙伴和我们的传统客户包括新的客户一起做企业的转型发展。”
IBM大数据与分析业务取得的成功,源于IBM多年来对这一领域的持续不断的投入。目前为止,IBM已在分析领域投入250亿美元,先后发起了包括Cognos, SPSS、ILOG、Algo、i2等30多起收购,其中,2007年IBM斥资50亿美元收购加拿大商业智能软件商Cognos是迄今为止IBM单笔交易最大的收购。IBM全球共有15000个分析顾问和超过400位数学科学家,在三大洲共拥有9个分析解决方案中心,其中,中国西安实验室着力分析领域的研发,以SPSS为核心发展成为全球分析软件实验室。
IBM每年都会新产生500多个与分析预测相关的专利。位于中国的IBM中国开发中心和IBM中国研究院为IBM与中国企业和合作伙伴的合作提供重要的支持。
作为认知计算的引领者,四年前,IBM沃森在《危险边缘》(Jeopardy!)节目的一场特殊竞赛中彻底击败两名极为聪明的真人选手,2014年,IBM投资10亿美元成立Watson集团。此后IBM一直不懈地努力将沃森集成到企业的应用中。2014年,IBM公司举行了沃森应用开发人员竞赛。一名优胜者利用沃森制作了一只恐龙智能玩具,沃森的认知计算能力可以了解与其互动的每个孩子,并按照孩子的年龄和兴趣定制互动内容。
此外,被戏称为“大厨”的Watson不仅能通过学习掌握35000多种经典食谱,分析海量食材配搭,结合化学、营养学等方面数据,根据现场食客提出的需求为食客定制食谱。更在金融、零售、医疗领域有所应用,并对行业产生深远影响。
除了Watson的前瞻性,IBM大数据与分析的优势还体现在:引领行业认知计算,自然语言理解、机器学习能力,领先的数据安全、保护、风险管理和反欺诈能力,业界最完善的大数据与分析解决方案组合以及对行业业务深入的了解。在IBM整体转型的背景下,处于战略核心的大数据将不断与云计算、社交、移动整合,为企业提供综合能力。
在2014年落下帷幕的第20届世界杯决赛中,德国队最终凭借格策在加时赛中的进球,1:0击败阿根廷,时隔24年后再次捧起大力神杯时,SAP的名字却被不断被提及。原来德国国家队除了无可比拟的实力和良好的竞技状态,另外还利用了大数据来做分析,这项技术的应用基于德国国家队在世界杯与SAP合作,利用数据分析,德国国家队可以发现并评估每场比赛的主要状况,从而提升球员和球队的成绩,也许德国世界杯夺冠早已经心中有数。
德国国家足球队教练尤阿希姆·勒夫(Joachim Löw)带领他的球队在半决赛上7:1大胜巴西已经刷新了历史,而如今大力神杯无疑为他们“巴西之征”划上了一个完美的句号。再完美的计划也无法确保绝对的成功。在足球赛场上,运气经常左右一个球队晋级与否。但是,凭借全新的思路和想法,能将不确定因素带来的负面影响降至最低。
在巴西,德国足球协会(DFB)力求每一个细节都尽善尽美。无论是选择和建设德国的世界杯训练营Campo Bahia;还是借鉴里约热内卢最受欢迎的俱乐部弗拉门戈队服,设计德国队客场红黑色新队服,这些细节都经过德国足协的深思熟虑。但很重要的一点,德国国家队也从德国足协与SAP共同创新的技术中受益匪浅。
借助SAP Match Insights和SAP HANA,德国队教练简化了球队训练,进而提升了球队表现。这不仅让精彩的世界杯是魅力四射,也为全世界的球迷献上了一场顶级视觉盛宴。现在,比埃尔霍夫已经开始考虑夺冠后下一步举措。
SAP巴西分公司此前与德国足协(DFB)在 Campo Bahia 召开联合新闻发布会,重申了双方通过推出 SAP Match Insights 足球解决方案提高足球运动水平的决心。
据介绍,德国足协与SAP的合作之旅起源自2013年。当时,德国队领队奥利弗·比埃霍夫(Oliver Bierhoff)就在球员更衣室里展开了一番“市场调查”。他在调查中发现,球员更喜爱通过数字平台沟通。因为沟通是比赛准备阶段最重要的环节之一,于是比埃尔霍夫委托SAP开发一款应用,旨在帮助球队沟通日程信息,以及了解竞争对手的数据。
SAP成功开发了一款基于SAP HANA的SAP Match Insights应用。该应用能够同步足球播报员播报的数据与球场视频片段所捕获的数据,这有利于教练更轻松地识别比赛中的关键时刻。比埃尔霍夫对SAP Match Insights的功能非常满意,因此他希望SAP进一步完善该解决方案,帮助德国队征战巴西世界杯。
在短短 6 个星期内,SAP 进一步开发了 SAP Match Insights 的功能,使教练、工作人员和球员均能有效利用数据。球员和教练很快便对 SAP Match Insights 爱不释手。德国足协还在训练中心的休息室架起了大尺寸的触摸屏,以便球员和教练操作。最重要的是,他们还能将应用下载到移动设备上,这样球队就能随时随地获取数据。
该解决方案是 SAP和德国足协联合创新项目的成果,它基于 SAP HANA 平台运行,旨在为训练、备战和比赛情况的分析工作提供便利。此外,该解决方案还可以协助教练和球探处理海量数据,发现并评估每场比赛的主要状况,从而提升球员和球队的成绩。
SAP和德国国家足球队主教练联合创新项目的目标是打造一款创新解决方案,帮助球员提升赛场表现,为更多的比赛做好准备。按照设想,SAP Match Insights 会为球员和教练提供一个简单的用户界面,帮助双方开展互动性更强的对话,了解球队状况,为后续比赛做好准备。
身为SAP 品牌大使的德国国家足球队经理比埃尔霍夫评价称:“SAP 的参与改变了教练、队员、球迷和媒体的足球体验。设想一下:10个球员用3个球进行有球训练,十分钟就能产生超过700个数据点,这个数字是多么庞大。然而,SAP HANA 可以实时处理这些数据。在 SAP 的协助下,我们球队可以实时分析这些海量数据,从而制定培训计划并备战下场比赛。”
德国国家队将在早期适应阶段利用 SAP Match Insights 备战,并在巴西世界杯比赛期间利用该解决方案进行赛后分析。SAP Match Insights 丰富了SAP 面向体育和娱乐行业的产品组合,预计不久的将来其他俱乐部和足协也能使用这一解决方案。
比埃尔霍夫还表示:“现今,每支运动队都在寻找创新方法以求获得超越对手的竞争优势。我们德国队是世界上最成功的球队之一。德国足协也一直致力于向德国国家队提供最先进的技术来提升球队成绩。SAP 的产品完全符合这些要求。”
SAP Match Insights 还能为媒体带来诸多裨益,支持他们交付更有依据的评论。据SAP公司高级副总裁兼体育和娱乐行业应用与创新负责人Fadi Naoum介绍:“大数据是一项绝佳资源,借助它,教练和球员能够将信息融入背景研究,并得出明智结论,从而优化球队的训练方法和战术。现在是时候让体育记者和球迷们也能获取此类信息了。”
SAP 巴西研究院(SAP Labs in Brazil)的总经理 Stefan Wagner 表示:“世界体育运动一直在发生变化,而且技术创新正在渗透到各个领域,其中包括球迷体验、球员表现监控、球队管理、票务以及赛场运营。德国足协非常愿意引领这场行业变革。在 SAP 解决方案的支持下,我们共同为这场变革做好了充分准备,必将迎来一个成功的世界杯之旅。”
甲骨文公司也不示弱,近日宣布推出新的大数据解决方案,它使信息访问和发掘更加简化,让客户能够快速地把数据转变成业务价值。新的解决方案包括Oracle Big Data Discovery、Oracle GoldenGate for Big Data、Oracle Big Data SQL 1.1和Oracle NoSQL Database 3.2.5。这些新产品进一步提升了企业大数据愿景,真正将Hadoop、NoSQL和SQL技术协同起来,无论在公有云、私有云还是内部部署的基础设施模式下,都能实现安全部署。
从大数据中获取价值的关键在于选取合适的工具来迁移和存储数据,进而有效地获取新的洞察。为了将洞察转化为可执行的操作,新的数据必须与现有数据、基础设施、应用和流程进行安全集成。
Oracle提供的解决方案可无缝地协同工作,帮助企业以更快的速度、更低的成本和风险开发大数据。这些解决方案让客户安全地访问Hadoop、NoSQL和关系型数据库,同时轻松、经济地对大量不同的数据集进行分析。
IDC业务分析研究副总裁Dan Vesset表示:“单一的技术类型再也无法满足各种类型的分析应用场景。同时,针对一系列不相关项目的数据管理和分析将导致企业IT陷入不可控制的困境并面临不必要的风险。根据IDC的预测,到2017年,统一的数据平台架构将成为企业大数据和分析战略的基础,这种统一化的趋势将出现在信息管理、分析和搜索技术多个层面。”
甲骨文公司大数据副总裁Neil Mendelson表示:“数据是一种新型的资产,企业必须对它们的数据资本进行战略性的投资。Oracle为客户提供了集成化的平台,以帮助简化所有的数据访问,发现新的洞察,实时预测结果,并确保数据的有效管理和安全性。”
新的Oracle大数据解决方案可无缝运行在近期发布的Oracle大数据机X5(Oracle Big Data Appliance X5)和Oracle Exadata数据库云服务器X5(Oracle Exadata Database Machine X5)上。这些解决方案结合在一起,可为企业提供全面且经济的平台,以便于访问、发现、管理和确保大数据的实现。
最新发布的大数据创新成果具体包括:
Oracle Big Data Discovery是“可视化的Hadoop”,也是面向大数据洞察的,集发现、探索、转变、挖掘和分享为一体的端到端产品。大数据资产将被企业内更多的业务分析师利用,帮助减少风险并加速大数据项目的价值转化。
Oracle GoldenGate for Big Data是一个基于Hadoop技术的产品,能让客户从异构交易型系统中将实时数据传入大数据系统中,目标包括Apache Hadoop、Apache Hive、Apache HBase和Apache Flume。通过把现有实时的架构合并到大数据解决方案中,客户能够强化其数据分析项目,同时确保其大数据库与生产系统时刻保持一致。
Oracle Big Data SQL 1.1将Oracle SQL拓展至Hadoop和NoSQL,同时拥有与Oracle数据库一样的安全性。它通过一条Oracle SQL语句的快速查询,即可在Hadoop、NoSQL和Oracle数据库中透明地访问所有数据。Oracle Big Data SQL 1.1将Hadoop和Oracle数据库之间的集成变得更加紧密,且查询性能较此前的版本提高了40%。
Oracle NoSQL Database 3.2.5是一个适应性解决方案,能够让开发人员创建高性能的新一代应用。该最新版本提供了可预测的低延迟,RESTful API和基于Thrift的C API,并与Oracle大数据平台实现了集成。基于Oracle Big Data SQL,Oracle NoSQL Database 3.2.5还支持数据定义语言(DDL),使得用SQL来查询NoSQL数据变得更加容易。
Oracle Big Data Discovery现已上市,利用Hadoop使用户通过单一产品即可快速、轻松地将原始数据转变成可执行的业务洞察。
像在线购物一样寻找和探索大数据:Oracle Big Data Discovery提供了令人瞩目的视觉界面,以帮助在Hadoop中发现和探索原始数据。它类似于便笺本一样,可揭示数据属性与数据组合之间的统计相关性,进而评估该数据是否具有潜力以及是否值得进一步研究。通过常见的导航栏及强大的搜索功能,用户可轻松浏览交互性的可视化数据目录。
大规模转化并丰富数据:使用Hadoop的原始数据进行分析之前需要一系列的准备工作。Oracle Big Data Discovery通过一个直观的类似电子表格的方式,缩短了冗长的准备周期,同时简化了数据矛盾。用户无需更换工具或者书写编码,即可增强数据可视化,从而将更多的时间投入在数据分析上。
挖掘和分享以发现新价值:数据的挖掘和分析与数据准备需要用不同的工具。Oracle Big Data Discovery让用户能够无缝地从数据准备迁移到数据分析,只需一次点击即可分享数据洞察。用户利用数据结果加强合作,将原数据集传回Hadoop,还可在如Pig、Hive和 Python等其他工具中进一步使用数据结果。
将大数据访问权限开放给更多职能团队:大数据通常只掌握在一小部分数据科学家手中,而这一群体掌握着丰富的技术能力、人才稀缺且人力成本高。Oracle Big Data Discovery使得大数据的管理更加简单,并可让包括分析团队和业务用户在内的更多人员轻松访问。它还集成了现有的大数据工具,让企业能够轻松地扩展其大数据团队,并从其投入的人力资本和数据资产中获得最大价值。
大数据应用“接地气”
国际经验表明,公共安全问题大概是在人均GDP3000~5000美元开始发生的,也就是说一个发展中国家人均GDP达到3000~5000美元进入到城市公共安全事件高发期。所以中国在2014年GDP已经达到7000多美元。国际上公认,随着经济发展反而进入了一个群体事件、公众事件、自然灾害的敏感高发期。
北京正通汇智科技有限公司郭常杰介绍,过去五年,中国年均因为城市公共安全、自然灾害等事件产生损失大概是9000亿元,达到中国GDP的3.5%左右。
这个比例和发达国家相比是它们的2倍到3倍。还有一个数字更加触目惊心,每年因为公共安全事件导致死亡人数接近20万人。这里面主要是自然灾害、事故灾难,尤其是安全生产相关事故、公共卫生灾害,传染病或者突发性疾病、社会安全等等。
看到这些数字和这些情况大家就知道,中国城市的公共安全发展面临的形势是非常严峻的。对于做信息化的人,城市的公共安全和社会的公共安全和应急,不是靠信息化技术能够解决的,更多是靠国家体制和管理理念。
但信息化技术能够带来什么呢?首先是物联网、海量数据处理、智能分析优化、移动互联网、云计算,这些技术能够帮助我们的城市安全和应急管理变得更加有效率,变得更加智慧,变得更加能够帮助政府完成它自己的使命。那么什么叫“智慧的城市安全”或者什么叫“智慧城市的应急”?
郭常杰是从两个维度中考虑的:一个维度是从真正提升政府面对公共突发事件的应急和处置能力的效率来讲这一点包括三条:第一,需要有实时监测预警能力防患未然,能够预测减少事故发生的可能性。
举个例子,中国每个城市每个省的办公厅下都有应急办,应急办做的事情是“平战”结合,平时准备好物资,隐患排查,出了问题之后,做各种应急指挥、调度、人员疏散等等。公共的突发事件,可能有70%、80%的事件,除了自然灾害的事件,事实上如果能提前预测并且提前发现问题,然后去解决,把它消灭在萌芽中的话,就不用等事件发生造成伤害,并且手忙脚乱。
怎么实现这一点呢?郭常杰做了一个总结:
第一个是海量信息采集,所谓采集就是要感知到无论是管的人还是城市的组件,要有新方法采集数据并且实时监控,更多采用物联网、传感器、移动互联网技术。
第二个是实时监测预警。数据采集到之后,要有能力进行分析、挖掘,产生很多相关的模型。
第三个是出现事故后也有相关的后果分析模型。这两个更加依赖于大数据和相关分析能力。
从处理一个事件数据角度来看大概是这样的流程,首先选择监测什么样的数据源,这个数据源是广义的,包含了在化工厂的罐子,包括煤矿,包括人,而且还包括从很多系统里整合进来的数据。首先要确定数据源,数据来了之后要定义最关心的事件,从纷繁的数据终抽取最关键的数据指标。
通过数据预测或者后果分析模型得出Insight或者洞察力,通过展示的能力给领导、决策人员、执行人员来辅助,帮助他在事后做后果评估分析。这个流程中很多是传统的系统整合、集成、业务流程的编制,其中称得上是“智慧”或者“大脑”的是针对不同行业不同场景下的监测预警和后果分析模型,放在不同的行业这些模型变化很大,但是思维和理念一样。
举例来看,北京地铁大概有300多个站,现在北京市30个换乘站或者人流特别大的站,在前端的站台的出入口装上激光扫描还有摄像头数人头,然后能够判断这30个站每天任何一个时间点进出站数 和客流数。通过站、线,整个地铁网络送到北京市交通委,北京市交通委拿到这30个站的信息马上能够预测出全网这30多个站每一条线单向双向或者换乘的各种情况。这是通过数学模型的判断。
同时可以预测出短程、长程,短程是15分钟时间里,哪些站更拥挤,哪些站人更少一些,通过这个做区间车的调度、应急的疏散等等。这是国内通过大数据分析做的一些事情。
例如,北京市安监局,把北京的4个煤矿、6个地面矿山、1000多个加油站、60多家央企(化工和工业企业)放在一起,实时装了3万多个传感器,对这6000多个危险源做实时监控、做数据分析。
最典型的例子是,地面矿山都有洗矿用的大坝,因此溃坝的预防就非常重要,一旦溃坝下游被淹没,就会造成很多的损失,甚至给人员生命造成威胁。但是,IBM能够通过地质安全和实时互联网上的各种传感器可以评估出风险级别,产生各种预警,可以做到事先处理。
未来方向需把握
互联网新概念层出不穷,在云计算,物联网火热之后,工业4.0在2014年受到越来越多的关注,并持续火热。
同时,在工业4.0时代,制造企业的数据将会呈现爆炸式增长态势。随着信息物理系统(CPS)的推广、智能装备和终端的普及以及各种各样传感器的使用,会带来无所不在的感知和无所不在的连接,所有的生产装备、感知设备、联网终端,包括生产者本身都在源源不断地产生数据,这些数据将会渗透到企业运营、价值链乃至产品的整个生命周期,是工业4.0和制造革命的基石。
那么如何来处理或者正确对待工业4.0带来的数据问题呢?
严格来说,按照大数据定义为“每天产生的数据量达到1T”来看,企业管理信息网中(ERP/PDM/CRM/HR等)的数据都不算大数据,所以很多制造企业都感觉大数据分析不够接地气,但是通过传感器随时随地采集到的生产设备的运行数据、产品运行过程中产生的数据(如车联网收集到的车辆运行数据)可以称得上大数据,有了这些大数据,我们需要的就是建模、分析加以利用。这样大数据分析就能够很好地帮助企业、提升企业。
总体来说,目前工业4.0关注的企业数据分为四类:
1.产品相关的数据,俗称企业主数据;
2.运营数据,一般称为交易数据
3.整个价值链上的数据,如供应商、分销商、客户等数据,也是属于企业主数据管理的范畴;
4.对企业经营分析有价值的外部数据。
产品数据,包括设计、建模、工艺、加工、测试、维护、产品结构、零部件配置关系、变更记录等数据。产品的各种数据被记录、传输、处理和加工,使得产品全生命周期管理成为可能,也为满足个性化的产品需求提供了条件。
运营数据,运营包括组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务等数据。工业生产过程的无所不在的传感、连接,带来了无所不在的数据,这些数据会创新企业的研发、生产、运营、营销和管理方式。
价值链数据,包括客户、供应商、合作伙伴等数据。企业在当前全球化的经济环境中参与竞争,需要全面地了解技术开发、生产作业、采购销售、服务、内外部后勤等环节的竞争力要素。大数据技术的发展和应用,使得价值链上各环节数据和信息能够被深入分析和挖掘,为企业管理者和参与者提供看待价值链的全新视角,使得企业有机会把价值链上更多的环节转化为企业的战略优势。例如,汽车公司大数据提前预测到哪些人会购买特定型号的汽车,从而实现目标客户的响应率提高了15%至20%,客户忠诚度提高7%。
外部数据,包括经济运行、行业、市场、竞争对手等数据。为了应对外部环境变化所带来的风险,企业必须充分掌握外部环境的发展现状以增强自身的应变能力。大数据分析技术在宏观经济分析、行业市场调研中得到了越来越广泛的应用,已经成为企业提升管理决策和市场应变能力的重要手段。
中国是全世界工业门类最齐全的国家,跨行业整合创新的空间极其巨大。在这方面,大数据是一个催化剂。IBM有一个汽车行业的客户,通过装在汽车上的物联网,收集驾驶者的驾车习惯,不但能够改进其产品设计,更能跨行业与保险公司合作,推出更有针对性的汽车险种,从而实现了多赢。
大数据能够帮助企业了解消费者偏好,从而进行有针对性的产品创新和业务模式创新。如果每一个数据都只是孤立的,只能在和他直接关联的领域发挥自身价值,那这并不能说是一个数据革命的时代,我们要找到实现数据之间一加一远大于二的价值,其间最关键的问题就是发挥数据的外部性。中国有世界上最大、增长最快的消费市场,所以中国的企业有一个巨大的优势,就是贴近消费市场,有机会更早、更快、更准地推出市场需要的产品和服务。但是这个优势必须通过大数据分析才能够发挥来。
数据分析咨询请扫描二维码
数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21