数据不在于大小 关键得有价值 各路大咖论剑大数据应用
一场会议不仅来了两位院士,连国际大数据分析大会主席都专门作了主题演讲,只能坐下300人的会议厅连走廊过道都站满了听众……如果利用大数据为本次软博会的分场论坛制作一张热力图的话,昨天下午国展中心的扬子厅一定是颜色最深的那一个。因为这里讨论的是目前被社会各界关注的大数据如何与产业融合创新的问题。
大数据是这两年互联网普及运用带来的一个热词,随着信息爆炸和所有人群电子痕迹的采集,全世界的大数据容量正在以令人难以置信的速度快速增长。据有关方面不完全统计,2004年全球的大数据容量约为30EB(以日常接触的手机内存容量GB为标准,一EB大约等于11亿GB),到2013年这个数字已经是35000EB,而且这一容量每年都在呈几何级数不断增加。对于已经达到这样一个量级的数据究竟该怎么处理,不仅仅是计算机硬件的问题,更是软件和整个解决方案架构的问题。因为只有把这些数据处理好了才能建立运用的基础。
“大数据实际上并不是什么新鲜词,早在上世纪80年代就被美国著名的未来学家托夫勒教授提出了,之所以现在大家对这一名词产生新的关注,是因为数据带来的新问题。”来自浙江大学的中国工程院院士谭建荣教授表示,其实直到目前对于什么是大数据还没有一个专业的定义,最被大家所接受的说法是运用现有技术、现有手段、现有方法没办法处理的数据就是大数据。因此,要解决大数据的运用问题,首先要解决大数据的处理难题。在谭建荣看来,因为现在大家对众多的数据哪些有用哪些没用并不清楚,只有首先做到海量的数据提取,才有可能从中找到有价值的数据。
来自加拿大工程院的凌晓峰院士则认为数据没有大小之分,关键是找到其中的价值。为了便于会场的听众理解,凌院士专门找来一张个人信贷支出的数据,在排除干扰数据后,利用有效数据来提前判定个人信用违约发生的可能性。“如果把这一功能延展,可以在个人饮食、医疗健康等各领域得到充分运用。”凌晓峰院士认为在互联网普及发展的今天,需要一个平台来让各种大数据完成交互,进而形成系统,才能最终实现大数据唱戏的结果。
记者了解到,作为本次软博会确定创建的软件名城示范区,中国(南京)软件谷主导建设的南京大数据产业基地已集聚大数据企业135家,尤其2015年9月南京市大数据产业协会成立后,构建了“协会(联盟)+平台+基地+基金”产业链发展新模式,初具特色的大数据产业体系已基本形成。目前,南京软件谷在大数据产业发展方面已形成了“五大产业集群”,分别是以华为、中兴、步步高等为龙头的通信及智能终端产业集群;以SAP、亚信等为引领的云计算、大数据及移动互联网产业集群;以欧飞、润和等为支柱的电子商务及互联网金融产业集群;以中兴光电子、美满、天溯等为核心的物联网及芯片设计产业集群;以中电十四所、宏图三胞、舜天等为平台的旗舰经济。
成立不到4年的一家大数据处理公司运满满,该平台撮合司机、货主双方在平台上进行对接,汇聚全国95%的货物信息、78%的重卡司机,每日产生TB级的海量数据,包括司机行驶里程、路线、交易行为等大数据沉淀,运用大数据、云计算、人工智能精准车货匹配、计算最佳路径、预测回程配货概率,降低空驶率。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21