与大数据打交道的那些人_数据分析师考试

今年7月10日，阿里巴巴集团宣布，将在集团管理层面设立首席数据官(Chief Data Officer，CDO)职位，负责全面推进阿里巴巴集团成为数据分享平台的战略。阿里巴巴B2B公司CEO陆兆禧将出任CDO，并直接向集团CEO马云(微博)汇报。作为企业内部C level的又一个重要职位，CDO将在推动企业大数据应用方面起到什么样的关键作用呢？

但从阿里巴巴集团公关部门得到的答复是，陆兆禧从来不接受采访。虽然吃了闭门羹，但是记者并不死心，通过其他渠道采访了业界一些主要的厂商、市场分析师及用户，希望能将CDO、数据科学家、数据分析师等与大数据有关的这些人、这些事全面展现在读者面前。 CDO：新型的复合型人才 戴尔(微博)全球副总裁、中国区大型企业及公共事业部总经理容永康告诉记者：“我接触过的很多中国企业的CIO认为，大数据解决方案是有价值的，但是实施起来确实有许多困难。比如，国内现在懂得在Hadoop上进行开发的专业技术人员非常少，而一些金融行业的用户虽然很想现在就部署大数据解决方案，但是苦于找不到既懂数据分析技术，又懂得金融业务的专业人才。”

由此可见，既懂得相关技术，又谙熟企业业务的复合型人才才是企业部署大数据应用最迫切需要的人才，而CDO就是其中的典型代表。 数据归业务部门，应用归IT部门。这一概念在过去几十年中已经被广泛接受。然而现在到了该挑战这一理念的时候了。在多数组织机构中，业务部门并不想拥有数据，他们也不是为管理数据而配备的。CDO能够有效执行一套自上而下的企业数据需要的精密化数据管理实践。 IDC的研究表明，2009～2020年，全球数字信息量将实现44倍的增长，其中需要管理的文件数将增加67倍，总存储容量将增长30倍。企业在PB级甚至EB级的数据中寻找相关信息无异于大海捞针，将为信息驱动决策带来与日俱增的成本和复杂性。

此外，企业数据不是非黑即白，多样化的数据源、数据种类以及信息共享机制正逐步替代传统的结构化和非结构化的数据二分法。企业一方面要与外部的客户、合作伙伴通过文本信息、社交网络、移动应用等方式进行互动；另一方面，企业内部也会频繁通过电子邮件、即时通信、博客等进行有效沟通。企业有责任和义务管理并且保护这些数据。IDC的调查显示，虽然企业产生的数据仅占全球数据总量的20%，但企业实际上要对80%的内容承担起管理的责任。这就意味着企业必须承担起与业务有关的数据管理、挖掘和保护的职责。面对涌动的数据洪流以及数据多样化的挑战，企业现有的业务模型很难通过有效的方法和途径对这些数据进行管理，并充分展现其价值，而且不能对业务未来的发展做出正确预测。这就是企业对CDO求贤若渴的重要原因。 赛迪顾问IT系统产业研究中心陈靓表示：“当前，数据管理的重要性日益凸显，并成为现代企业管理至关重要的影响因素之一。随着IT技术的发展，企业数据治理作为一个全新的管理概念被提了出来，这正是CDO进入企业高管团队的重要原因。” 

“在大数据领域，我们今后可能会听到很多花哨的名称，如CDO、数据科学家或者首席数据工程师、架构师等。数据对企业来说变得越来越重要，而且逐渐成了企业核心竞争力的一部分。企业关注的不仅仅是数据本身，而且会更加重视数据的价值，以及数据对企业产生的影响。”微软亚太研发集团首席技术官孙博凯告诉记者，“举例来说，两个类似的企业，一个花了很多时间做数据分析，另一个则对数据完全漠视。从公司业绩来看，做数据分析的企业，可以很好地掌控其业务，而没有对数据进行分析的企业绩效会差很多。从这一点上也可以看出，在数据逐渐成为企业核心竞争力的今天，掌控数据对企业的业务发展有多么重要。” 做好“后台” CDO的主要职责是什么呢？作为企业的执行管理层，CDO将在以下领域中扮演举足轻重的角色：主导并实施数据管理策略和标准，实现数据质量管理的制度化；衡量并管理数据风险，在执行层影响企业的风险评估偏好；实现更佳的决策支持，通过对数据的有效分析获得洞察力，帮助企业改善策略；通过对数据的有效管控及使用，增加企业的业务收入，提升客户满意度、客户忠诚度和市场美誉度；降低合规成本，通过正确运用数据提高生产效率。

 “CDO需要支持CEO的决策。CDO与企业常规设置的CFO、CIO不同，他掌握的是企业内部最核心的数据。顺便强调一下，CTO并不和IT直接挂钩，也不会承担CDO的工作，CTO负责的是企业的核心技术，比如制造型企业的生产技术。并不是每一个企业都会设立CTO。”Forrester(微博) 高级分析师曹宇钦认为，“CIO的职责在于提供最符合企业现状和未来发展的信息技术，包括要实现数据分析的能力。目前不少企业的CIO或者IT部门负责企业数据的挖掘，但是绝大部分还停留在技术层面。设立CDO之后，CIO将为CDO提供数据挖掘的工具和技术支持，并且把数据分析的工作转交给CDO。目前在CFO的职能中，关于企业内部历史数据整理、分析并预测企业业务发展的部分职责，也将逐渐转交给新设立的CDO。”

 据了解，中国移动目前既没有CTO，也没有CIO。中国移动目前已在部分项目中采用了大数据技术，未来还将继续扩大使用范围。基于业务的考虑，中国移动需要以下两种大数据人才：第一，大数据系统和工具的研发、优化人才，要求对于Hadoop、数据仓库、OLAP工具等大数据工具具有较深的优化经验，最好能根据业务需求对于Hadoop等开源大数据工具进行定制开发；第二，数据分析师人才，要求对于电信经营分析业务具有一定的经验，能够熟练使用大数据工具，了解数据主流统计分析、数据挖掘算法，能够根据业务特征进行建模分析。

 “CDO相当于企业的‘后台’。在公有云建设和数据仓库应用中非常需要CDO。”市场分析公司ESG中国区总经理王丛表示，“CDO应该懂得数据管理、网络和底层安全知识，了解公有云对IT的需求，并且要拥有多年的数据库管理经验。CTO中的T代表技术，CIO中的I代表信息，而CDO中的D代表数据，这三者是不能相互替代的。但是，并不是所有的企业都需要CDO。” 并非所有企业都需要CDO 百度每天的数据处理量十分惊人，达到了20PB～100PB，当然其中也包含了重复的数据。不过，百度目前还没有设立CDO这个职位。百度在大数据方面做的主要工作包括管理、处理和挖掘大数据，以及与大数据相关的基础架构研究。百度在大数据方面的快速发展主要得益于其多年来在云计算方面积累的经验，以及在数据梳理方面技能的不断提升。 百度在大数据方面最津津乐道的有两点：一是云存储(据百度称，百度目前拥有业界最便宜的云存储)，二是其强大的数据处理能力。

百度认为，企业在大数据方面面临的最主要挑战在于，不知道应该做什么和不应该做什么，也就是方向性的问题，这是与业务本身密切相关的。 现在一说到大数据，言必提Hadoop、MapReduce等。用户的普遍感觉是，数据量太大，而现有技术的积累和技能还无法跟上数据量增长和处理的需求。百度认为，用户只掌握Hadoop、MapReduce等技术或工具还不够，更需要了解哪些数据真正具有价值。这对CDO来说是考验。以互联网企业为例，因为其拥有的数据量非常大，处理这些数据的投入也非常大，CDO就要考虑投入产出比的问题。 其实，数据挖掘并不是一项新技术，已经有几十年的发展历史了。对于用户来说，如果只是招聘技术人员对相关算法进行研究，那是没有止境的。

现在，很多用户都说要做大数据， 比如NBA球队在比赛中别出心裁地引入了数据分析技术，甚至有些房地产企业也宣称要做大数据。有人笑称，现在是全民皆大数据分析的时代。百度认为，真正有用的大数据人才应该可以分辨出哪些工作可以做，而哪些工作不必做。 “从理论上说，每一个将大数据分析应用到业务中的企业或单位都应该设立CDO的岗位。但是，企业是否足够成熟来设立这个岗位，取决于企业对于数据挖掘的深度以及各个业务部门能否有效地支持CDO。

通常情况下，CDO将直接汇报给COO。”曹宇钦补充说，“CDO既要懂得企业的业务和运营，又要具备极强的数据分析能力，能够透过数据看到事件的本质。CDO不能仅仅停留在简单收集、整理、分析数据和写出报告的层面，而是要结合企业自身的业务发展，找出数字背后隐藏的挑战和机遇，同时将这些洞察应用在具体的企业内部战略规划及日常运营中。” “我们目前正在准备进行大数据方面的调研。大数据的分析工作与传统的应用系统的建设有很大不同。我们需要既懂得业务，又熟悉数据分析技术，并且能够把两者结合起来的综合人才。”民生证券有限责任公司技术总监颜阳博士告诉记者。

在推进大数据应用的过程中，颜阳认为企业将面临以下三方面的困难，一是认识上的不足，很多人并不知道大数据是什么，因此也就无法知道如何正确地使用大数据工具；二是投入上的不足，大数据的应用可能需要相当大的役入，一般的企业可能很难承受；第三，大数据人才的匮乏将制约大数据应用的发展。 陈靓认为，从当前国内信息化应用的现状来看，有大数据应用的企业一般集中在金融、电信、互联网等大型企业。从企业的需求上来看，设立CDO可以解决企业在数据搜集、使用、存储和再利用方面的难题，同时还能为企业高层提供更好的决策支持。

但是，由于大数据应用在中国的各行业还处于初步阶段，很多企业并没有发展到系统化地使用大数据工具进行深度数据挖掘的阶段。CDO的设立应该是企业在数据使用和挖掘上有了成熟的模式以后的事情，否则，盲目设立此职位只能给企业内部带来冗余的工作岗位和职责上的不明确。 在民航业，大数据的分析和应用已经被提升到了战略高度。东方航空公司很早就提出要实现精准营销和对旅客的个性化服务，而大数据分析是实现这一目标的前提。据记者了解，国内许多航空公司虽然可能没有单独设立数据分析部门，但多多少少都会有数据分析这项业务。 东方航空公司信息部总经理严振红介绍说：“我们需要既懂业务，又有深厚技术背景的人，但并不一定会设立CDO这个职位。去年，我们在信息部下面新设立了一个数据管理部，负责公司所有数据的分析、管理和营销业务。为了招聘到适合的人才，公司领导特批我们可以按照市场规律，以年薪制招聘适合的大数据人才。

目前，数据管理部有20多人，其中有一部分是公司原有的熟悉业务的人员，另外一部分就是从外面招聘的技术专家。经过一年多的磨合，现在数据管理部的这些人都成了既懂业务，又掌握相关技术的复合型人才。我们正在筹建的数据仓库项目就是由数据管理部一手经办的。” 据记者了解，东方航空公司的数据管理部还在不断招人，希望继续扩大规模。2013年下半年，东方航空公司的大数据平台将正式上线运行，主要用于营销和客户服务。 陈靓总结说：“CDO能结合企业IT应用，更好地推动企业业务的发展，让IT价值更大化。因此CDO将在国内企业中受到欢迎。工业结构转型依赖信息化的进一步发展。新兴的CDO专业人才将为IT发展创造更广阔的空间，并且更好地促进国内经济结构的转型，提高生产效率和企业管理水平。” 寻觅数据科学家 另一类与CDO一样受到广泛关注的大数据专业人才是数据科学家。

 “什么是数据科学家？”Bitly公司的首席数据科学家Hilary Mason负责从Bitly收集的数据中寻找价值并建立系统，“我的团队负责建立数学模型，编写代码并开发基于信息的产品系统。” 数据科学是一门交叉学科，涉及统计学、计算机科学以及特定领域的专业知识等。Hilary Mason将数据科学划分为两部分：一部分是分析，另一部分是从数据中提取具有洞察力的新技术，这在以前是不可能做到的。数据科学是分析能力和新算法的结合体。 

“数据科学家的工作就是要提出正确的问题。”Hilary Mason解释说，“如果我问这样一个问题，这个链接的点击数是多少？这就不是一个关于数据科学的问题。如果我问这样一个问题，根据这家出版商网站之前的历史链接，我们能否预测未来三小时内将有多少来自法国的用户读到这个内容？这就是一个有关数据科学的问题。” 陈靓分析说：“CDO的职责是为企业的业务和数据提供更好的价值平台。通过CDO的工作，企业能将数据转化为业务语言，被管理层更好地理解和运用。因此，企业对CDO的数据业务专业性要求并不高。而数据科学家是专业数据的研究者，其主要工作是对数据及其价值的专业性进行研究，比如数据科学家队伍中包括数据分析师、数据挖掘师、数据可视化设计师等。” 做业务与技术之间的桥梁 “大数据项目的落地一定要有企业高层的认可和支持。大数据项目将会影响企业未来业务的发展、经营决策甚至是投资方向。” ――SAP中国区副总裁、数据库及技术平台事业部总经理 邹作基 “两年多前，我们与美国的一些金融行业的大客户接触时，它们已经拥有了CDO这样的岗位。”SAP中国区副总裁、数据库及技术平台事业部总经理邹作基告诉记者，“2008年，国际金融危机席卷全球。在那之后，金融行业的用户都加强了对业务风险的监管。

有效控制金融业务风险的一个重要前提就是实现对数据的管控。金融用户中设立CDO岗位的比较普遍，但是像制造、零售等对大数据同样有迫切需求的企业则很少拥有CDO。” 技术与业务的有机结合 谈到中国的企业是否应该设立CDO这一职位时，邹作基表示：“CDO这个名称其实并不重要，关键是企业中要有人能够十分清楚业务流程，并且能合理安排与数据分析相关的各项工作。”

其实，所有企业都面临着激烈的竞争和如何把控业务风险的问题。CDO的主要职责是将企业内的所有数据有效调动和运作起来，将有用的信息放到真正需要它的地方。某些企业的CIO可能兼具CDO的职能，或者企业会成立一个专门的团队来负责数据的管理。不可否认，大数据已经与企业的业务密不可分，它很可能在企业未来的竞争中起到十分关键的作用。 大数据涉及的不仅仅是技术方面的问题。CDO应该主要从业务层面去审视大数据的应用。数据存放在哪里，数据应该如何处理，哪些人能拥有数据，为什么要这样使用数据……CDO必须能够明确地解答这些问题。“CDO应该站在业务团队和技术团队的中间，就像是一座桥梁，可以把业务需求与IT规划联系起来。”邹作基表示，“CDO其实是一种功能。CDO能发挥什么样的作用，还要看每个企业在大数据方面的需求以及策略。” 举例来说，一个零售企业以前可能只能通过CRM系统来了解和掌握客户的需求。现在，随着社交媒体的兴起，零售企业有必要也有可能从微博、博客、论坛等社交媒体上了解与企业和经营相关的信息。以前，企业的IT架构不具备处理海量社交媒体数据的能力，但是现在，实时、快速地处理大量的非结构化数据已经成了一种常态。对于CDO来说，他的职责就是利用IT手段找到企业所需的数据和信息，并发挥其应有的价值。

 从顾问咨询的角度出发 “十多年前，银行就设有业务分析师。这些人主要是从业务部门的角度出发去分析数据。”邹作基介绍说，“今天的CDO与这些业务分析师很相像。不同的是，CDO要面对大数据的种种挑战，而且数据分析与管理不再是某一个部门的需求，而是整个公司战略层面的问题。大数据分析一定是企业级的、大范围的、跨部门的事情。” 在业务流程、数据处理和应用方面，SAP已经有了40多年的专业经验。“在面对客户时，SAP不是单纯地讲述产品的功能，而是了解客户的业务流程，能够从解决用户的实际问题出发，为用户提供更多的价值。”邹作基告诉记者，“我们拥有一批专业的价值工程顾问，称为Value Engineer 。这些Value Engineer都具有丰富的行业经验。在确定解决方案之前，他们会与客户进行深入探讨，分析客户面临的困难，向客户建议应该采用什么样的解决方案，以及能够获得什么样的预期回报等。”

 大数据的分析与管理追求的一个目标是更快的处理速度。邹作基说：“SAP HANA内存计算平台是SAP实时数据平台的核心组件，其设计出发点是不断提高大数据的实时处理能力。”SAP HANA是一个软硬件的结合体，具有高性能的数据查询功能，用户可直接对大量实时业务数据进行查询和分析，而不需要对业务数据进行建模、聚合等。 大数据对所有企业来说都是一个新的机遇。企业只有拥有了像CDO、数据科学家、数据分析师这样的专业人才，才有可能将技术与业务有机地结合在一起，从而确保大数据项目的成功开展。 数据科学家一将难求 “企业的大数据业务，并非一个人就能完全掌控和完成的，而是需要一个团队。

当然，企业需要一个强有力的领导者，才能把团队中每个人的才能发挥到极致。” ――Informatica高级副总裁兼首席信息官 托尼•杨 有大数据应用的企业都要设立一个CDO岗位吗？“我并不认为这两者之间有必然的联系。一些大型的互联网公司都有大数据系统，但并不一定有CDO这个职位。CDO只是一个工作职位而已。”Informatica高级副总裁兼首席信息官托尼•杨表示。 参透数据的本质 托尼•杨表示：“许多大型的公司有市场、销售、财务、人力资源、服务、供应链和生产管理等多个职能部门。所有职能部门都是共同协作的，而不是独立存在的，这有点像人体中的各种器官。数据会在各个职能部门的不同系统间流动。CDO的职责是在这些职能部门的数据中发掘价值，并制定战略决策。并不是有大数据应用的企业都要设立一个CDO职位。一般情况下，CDO会向CTO或CEO汇报工作。” Informatica虽然专注于数据集成业务，与大数据打交道最多，但是Informatica公司并没有专职的CDO。托尼•杨介绍说：“过去，我们有一个人专门负责数据管理，其职能与CDO类似。这是一项要求非常高的工作。

负责数据管理的这个人必须具备多种能力，并且要全面了解公司的业务运作流程，此外还要跟踪流动的客户数据，掌控一个产品的全生命周期。” 通常情况下，CDO的主要职责包括以下内容：确定公司在数据系统上的战略重点，从数据中挖掘出新的商机，通过数据优化实现业务创收，将数据作为一项战略资产进行管理。“帮助企业参透数据和信息中隐藏的问题，这对CDO来说是最关键的职能之一。因此，能够胜任CDO这个职位的人很难找到。”托尼•杨感叹说。 数据科学家独一无二 作为与CDO关系最为紧密的一类专业人员，数据科学家可以与CDO一起工作，解决企业需要洞察的问题。“在描述与大数据打交道的人应该具有的能力时，我经常用Insight(洞察力)这个词。”托尼•杨举例说，“我们将相互关联的、实时的客户信息发送给呼叫中心的职员，他们就能全面掌握客户的情况，从而为客户提供更优质的服务。这似乎听起来容易，但实现起来十分困难。” 数据科学家能够解决复杂的数据问题，但与CDO相比，它更像是高级工程师或高级技术人员，因为CDO的工作内容中还有一部分是进行公司管理和战略决策，而这不属于数据科学家的工作范畴。谈到数据科学家应该具备的能力，托尼•杨将其归纳为以下几点：第一，数据科学家不是传统的IT人士，它的工作中既包含IT的成分，也包含业务的成分；第二，数据科学家具有很强的逻辑分析能力，能够了解数据和信息如何与企业的业务产生关联；第三，数据科学家还拥有其他多种能力，既了解信息、业务以及数据如何在企业中流动，也知道如何将信息整合在一起，这是数据科学家拥有的独一无二的能力。 上世纪90年代，有很多IT项目、ERP项目都没有成功实施。究其原因，是因为那时没有能够全面了解业务流程的专家，企业只能自己边实施边了解。现在则不同，企业如果想实施ERP项目，就可以马上找来相关的专家、工程师和技术顾问等。这些人很清楚如何去实施ERP项目。一个项目从头到尾，可能9个月就能全部完成，而这在上个世纪90年代是绝不可能办到的事。“现在，很多企业能够轻而易举地完成某个复杂的项目，这是因为有一个团队在做，而且整个产业链中的很多公司也清楚如何去实施。”托尼•杨分析说，“但是对于大数据来说，它还处在发展的初期阶段，没有现成的模式可以借鉴，企业还需要一段时间去摸索和实践。”

 既要了解业务，还要管理团队 “数据科学家的主要任务是建立业务所需要的数据模型，这就要求数据科学家掌握高等数学知识，对企业业务更加了解。CDO和数据科学家是企业核心竞争力的一部分，将关系到企业的生死存亡。” ――VMware全球高级副总裁 范承工 VMware全球高级副总裁范承工介绍说：“我们公司已经拥有一支数据科学家团队。这个团队既为公司内部服务，也会为客户提供大数据服务。”在美国，CDO、数据科学家等与大数据相关的专业人才虽然不断涌现，但是仍然供不应求。 数据库分析、商业智能已经不是什么新鲜事。任何规模的企业，甚至是企业内部的一个部门都有从数据中提取智能信息的需求。大数据的一个重要作用是帮助客户更容易且以更低的成本利用数据，使得数据分析变得更加平民化和可视化。包括VMware在内的一些厂商新推出来的大数据解决方案就可以实现上述目标。范承工举例说：“Hadoop是一个重要的大数据平台。以前，Hadoop通常运行在物理机上，而没有在虚拟机上运行的先例。VMware对大数据的一个重要贡献就是将Hadoop移植到虚拟化平台之上。这在一定程度上简化了Hadoop的部署与应用。” 范承工认为，企业缺少既懂技术、又懂业务的大数据人才是企业大数据应用落地的一个主要障碍。“很多企业没有掌握Hadoop技术的开发人员，因此在部署大数据应用时会费时费力。VMware将vSphere作为Hadoop的虚拟化支撑平台，同时开发出一些可以简化Hadoop部署的技术和工具，将以前半自动化的Hadoop部署变成全自动化，从而降低了Hadoop的应用难度，也减少了因人工操作出错的概率。”

 目前，大数据还处于发展的初级阶段，只有一些大公司对大数据项目比较感兴趣，但也只是小规模地在几台机器上试用，而没有进行大规模推广和应用。”范承工介绍说，“现在，很多大数据应用主要分析的还是结构化的数据库数据。不过，从长远发展来看，对非结构化数据的处理将成为推动大数据应用的核心驱动力。一些能够很好处理非结构化数据的新产品、新平台受到了用户的欢迎。” 一些专职管理和处理大数据的职位也受到了企业的关注。“CDO是管理数据科学家的。CDO既要了解公司的业务，还要能管理一个杰出的团队。这个团队中有数据科学家、数据工程师和数据分析师。这个团队将负责搭建业务所需要的大数据分析平台，同时还要为各业务部门及公司负责人提供数据支持服务。”范承工表示，“假以时日，大多数公司都会设置CDO这个职位。CDO既有可能向CIO和CTO汇报工作，也有可能向CEO或COO汇报工作。” 其实，在一些企业里，CTO或CIO承担了部分CDO的职能，甚至兼任CDO的职位。范承工认为，将来，CIO和CTO的工作职责与CDO重叠的可能性会越来越大。CDA数据分析师培训