大数据2014年面临几道关_数据分析师
大数据从概念走向价值,基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业这是中国计算机学会大数据专家委员会对大数据2014年十大趋势预测中的内容。在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等。同时,大数据专家委员会预测,2014年,互联网和电子商务、金融(股市预测、金融分析)、健康医疗(流行病监控和预测等),生物信息、制药等方面将会有令人瞩目的应用。刚刚过去的2013年,大数据在医疗、金融、电子商务和城市管理等方面应用较多。
大数据从2012年预热,到2013年被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场泡沫。2014年,大数据将面临的问题有哪些?
数据开放仍是大问题
数据应用的前提是数据开放,这已经是共识。中国工程院院士、中国互联网协会理事长邬贺铨指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。
去年12月14日,在中国计算机学会青年科学家论坛(YOCSEF)上,中科院地理科学与资源研究所研究员、中国工程院院士孙九林先生回顾了我国科学数据开放共享历程:2003年,科技部在财政部的支持下设立了科技基础条件平台建设专项,科学数据共享工程作为重要组成部分纳入科技基础条件平台建设;2008年,科技部发布973计划资源环境领域数据汇交管理办法;2009年,第一批科学数据共享项目验收,转入运行服务阶段;2011年,国家科技基础条件平台组织首批认定。
孙九林介绍了美国在数据开放方面的做法。美国政府提供政策和经费保障,使数据信息中心群成为国家信息生产和服务基地,保障数据信息供给不断,利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中,把全社会带进了信息化时代。
让每一位公民在数据、信息、知识、理论、决策、效益的各个环节上发挥才华,让民众把数据信息流动过程中和应用过程中的各种价值充分挖掘出来,国家为他们才华的发挥和价值的挖掘带好路、服务好、创造好环境。孙九林认为这就是美国政府选择的数据信息共享的大循环道路。该思路在利益分配上的基本点就是让全社会受益,让整个国家受益。
目前,我国还没有国家层面的专门适合数据共享的国家法律,只有相关的条例、法规、章程、意见等。
针对于大数据利用的前端数据共享的问题,孙九林认为,十多年的数据共享取得了很大的成效,特别是全社会的共享理念得到共识,但存在的问题仍然很突出:缺少国家层面的政策,已有分散的若干意见约束力不够,高层管理人员对数据开放共享的深刻意义的认识有待提高;现有国家数据共享平台难以满足国家发展和科技创新对数据资源的需求;缺少数据开放共享的专职队伍和相应的数据专家以及管理人才;缺少对专职数据共享服务人员的合理评价机制和标准等等。
急需国家大数据战略宏观统筹
不要被大数据(Big Data)的 Big 误导,大数据更强调的不是数据大,而是数据挖掘。在第十届国家信息化专家论坛上,邬贺铨院士指出,大数据需要更强调数据挖掘利用,关键的是要有国家大数据战略。
邬贺铨提出,需要制定国家大数据发展战略,大数据是一个应用驱动性很强的服务,其标准和产业格局尚未形成,这是我国跨越发展的机会,但切忌一哄而起在目的不明的情况下到处建设大数据中心,到处搞数据房地产,而是需要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。同时,我国需要尽快制定信息保护法和信息公开法,既要鼓励面向群体而且服务于社会的数据挖掘,又要防止针对个体侵犯隐私的行为,提倡数据共享又要防止数据被滥用。
中国计算机学会专家委员会指出:大数据时代有两点非常有利于中国信息产业的发展,第一是大数据技术发开源为主,迄今为止没有形成技术垄断;第二点,中国的人口和经济规模决定了中国的数据资产规模全球最大。因此,政府、学界、产业界和资本市场应该通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,释放大数据的巨大价值。
目前已经有一批企业开始用数据创业。在国外已经有不少用数据提供服务、做数据分析、进行可视化研究的公司,有些已经取得不错的业绩,甚至有很好的前景而拒绝大公司收购。有人预测,如果国内互联网创业者,能从海量的垃圾信息中嗅出些端倪,找到某个切入点,没准能成为行业的佼佼者。不过,现在在国内找出个像样的大数据初创公司并非易事;但也有人认为,正是有这样的空白存在,才让人看到机遇。
各国大数据人才紧缺
大数据人才无疑是紧缺人才。Gartner咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预计,美国到2018年深度数据分析人才缺口将达14万~19万人,能够分析数据帮助公司获得经济效益的技术及管理人才有150万人的缺口。中国能理解与应用大数据的创新人才更是稀缺资源。
IDC(互联网数据中心)发布预测报告称,2017年大数据技术和服务市场将增至324亿美元,实现27%的年复合增长率。此外还预测基于大数据的决策解决方案将开始取代或影响知识工作者角色,这势必引发人才转型。
面对大数据人才的短缺,各国如何在培养数据科学家和数据工程师?《2013中国大数据技术与产业发展白皮书》是由中国计算机学会大数据专家委员会历时半年多编写的,其中专门梳理了对大数据人才的培养。
在我国,香港中文大学从2008年起设立数据科学商业统计科学硕士学位;复旦大学从2007年起开设数据科学讨论班,2010年开始招收数据科学博士研究生,并从2013年起开设《数据科学》课程;北京航空航天大学于2012年设立大数据工程硕士学位。
在美国,加州大学伯克利分校从2011年开设《数据科学导论》;伊利诺伊大学香槟分校从2011年起举办数据科学暑期研究班;哥伦比亚大学从2013年起开设《应用数据科学》课程,并从2013年起开设相关培训项目,还计划从2014年起设立硕士学位,2015年设立博士学位;纽约大学从2013年秋季起设立数据科学硕士学位在英国,邓迪大学从2013年起设立数据科学科学硕士学位。
大数据专家委员会认为,从目前各国的人才培养来看,数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能,具有较宽的知识面,具有独立获取知识的能力。复旦大学的课程设置强调了数据科学家是研究数据的科学家,而不仅仅是一个数据工程师或者数据分析师。
数据分析咨询请扫描二维码
数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20