2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。
2014中国大数据技术大会首日全体会议上,University of Delaware电子与计算机工程系教授,计算机系统结构和并行系统实验室创始人暨主任高光荣,带来了演讲“大数据系统核心技术”。高光荣主要介绍了大数据系统面临的严重挑战,大数据系统核心技术简介,数据流与大数据引擎的创新以及大数据系统发展在中国的机遇与挑战。
以下为演讲实录:
今天我们听了很多的报告,大数据到了最高点,距离真正的落地还有一个很长的时间。我只想把我最近做的一些工作和我历史上做一些工作总结起来,我没有很多广告的能力,但是也可能有一两张幻灯片为我做例证。我的演讲有两个方面:第一大数据HYPE Cycle的最新预测,第二怎么把大数据跟云计算结合起来。这个大数据不可能从天上掉下来,不可能把它割裂开,说我突然就有一个办法把我以前超机做的一些事情无关了,我们用另外一套办法把这个性能做上来,这种想法是可以理解的,但是不一定是现实的。在这个场合下我们说实时大数据,一定不要忘记长期的积累在高性能计算上这些积累,特别是中国由于各种需要,我们对高性能技术的工作也是有目共睹的。长沙的机器到现在为止仍然是世界上头一个,说明我们在这方面是一个前沿,我今天没有看到杨学之在这,但是我看到其他好几位其他同事,大数据实际上就是说这两件事情的关系,HPC跟大数据的关系。大数据实际上已经超过了最高炒作的内容,接下来应该是逐渐的走到了落地的阶段,然后有一个稳定的发展。它接着说两件事,一个是刚才我说的,HYPE Cycle大数据,注意是Reak Of inflated Expectations,用大数据做inflated Expectations,我们说的太多经验太少。我在深圳有一个朋友说大数据知识挖掘等等,最要紧对他来讲是钱的挖掘,能不能把大家所有的这些技术最后变成真正的实际效果,这一条我们实例还太少。同时他还有第三条建议,第三条建议就是千万不要忘记和小公司合作。他这个建议是给大公司的CTO、CIO说的,所以我觉得这三条是很好的一个总结,就是当前在HYPE Cycle这个方向。
我这剩下两条说明当前的挑战,这个问题就是说这个引擎要不要革命性的创新,还是说看看革命哪家比我强一点,我赶紧修理我这个,我是不是能超过A,超过A以后哪家比我好一点,还是说这个国家作为一个整体要做革命性的创新。我不说计算机里面的历史,我只想谈谈另外一个领域里的历史。100多年以前,飞机的问题是飞机引擎是不是可以把我们当时对汽车这个引擎的概念适用,不需要做革命性的概念这个事就可以做成,还是我不需要做这个飞机的事,后来你发现有一个新的模型,这个模型就是这个飞行动力学,从地面动力学模型到空间动力学模型,才能真正的造出这个引擎来,不是把汽车这个引擎革新,所以这个模型造成了新的结构,从腿到翅膀然后这个结构又发生了变化。在一百多年前那个历史是从模型到结构,我们计算机的发展实际上也是一样,在计算机历史上重大发现,都是有一个新计算模型一个执行模型,然后这个结构上的发展。我想我们大数据对我们做结构的人和做系统的人这个模型在什么地方?然后就有结构上的影响。
有了这个作为基础我们可以开始谈引擎核心结构的演变。我觉得大数据引擎的分析技术有三项。一项是执行模型和结构的技术。第二个系统软件的技术。第三是引擎的编程模型和优化技术,这三项相辅相成缺一不可的,做HPC的这群人都有过痛苦的经验和深刻的教训,这三方向的发展,在大数据引擎上面这三项也是非常重要的。我今天主要的是Execution Model,执行模型定义的一个API,叫做Execution Model API,然后你发展使得这个模型的定义双方有一个无缝连接,使得它能够达到你所需要的目的。最新的观点在这个上面,是这个Execution Model不仅仅影响这一层API,它同时也影响其他层之间的关系。所以这个事情非常重要,什么是Execution Model?比如说1948年总结的,那个Execution Model活这么多年,所有我们的接口,所有我们串型运算的接口在软件方面硬件方面这么长,我们一直试图整个的领域把成功经验用到并行操作和并行系统的执行模型,很可惜到今天仍没有成功。它的data不仅是程序自身产生的和程序自身确定的静态确定的这些数据,而是需要有动态的数据,什么叫做动态数据?比如所有传感器来的数据。你把问题表现成数学模型化然后编程而是要考虑这些大量随机的事务,Execution Model接入的数据,使这两种数据都可以使你系统里面无缝的结合起来。数据流的Execution Model没有这个旧年,数据里面甭管是可抗性的还是不可抗性,没有想象有一个温度的不可抗性,这个依赖关系没有办法表述。原来1970,1971年,1972年,1980年,这里面证明了Execution Model一致性完整性所有这些都需要重新的考验。我的意思就是说这个事情不能忘记,我们做大规模的处理历史经验非常重要。
什么叫做创新?创新意味着人类积累起来的知识不要忘记,在新环境下怎么让它适应Execution Model这是很重要一部分的创新。我们计算机系统领域有很大矛盾,我们常常非常容易的忘记过去,不是故意的,是事太多了,每年都在追,看看明年有什么,我赶快追,没有这个时间。
下面我用一个动画说明下Execution Model,在执行实现的时候误区在哪?这个误区就是把OS的作用给误解了,我的老师就是OS发起人之一很有名,他去年得最大的奖,他两个贡献,数据流是第二项,第一项是他在操作系统上做的贡献。这个动画就是Mechine Runtime Syelem。这个不是那个Runtime Syelem,这个有很多机器模型实现它,硬件跟Execution Model之间总会有一些坑坑洼洼不齐的地方。比如说你要求某一项操作在你Execution Model上,但是它硬件上,它的指令系统上,或者它系统结构没有直接反馈它,这时候你要做一层软件,它的任务就是补漏洞。这一层软件跟OS没有关系,最大的错误就是让OS执行这套软件。如果你注意最近这三年,美国主要的研究,都是强调Runtime Syelem和OS的关系,Runtime Syelem就是Execution Model跟OS的关系。并不是说OS没有用,但是它的任务是跟Runtime的分工。
系统软件上面并行多核,打破了传统OS控制打破了OS控制一体现象,支持高性能高扩展低能耗,弹性,面临空间的根本性的挑战。第三项有了这个系统,有了结构,当然你有编程模型和优化技术,我只想强调当前优化技术集中在静态优化方法,我们编程模型和优化技术都是假定,所有的都要用芯片来做,优化也是在这上面做。包括我自己的Execution Model做的一些工作都是假定硬件上有芯片,但是都是很小的规模,现在就是最重要的就是有动态调度,有并发多元管理在RUNTIME这里。李永辉教授今天上午的讲话,他第一条我听清楚了就是说即使在英特网上细颗粒度的监控,使得整体的计划变成动态的虚拟化,这个实际上跟那个是一回事,自调整都是建立在这个基础上,程序自己监控自己。
下面是我们有关工作的举例,只有四个例子,第一个例子我们建立数据流为背景动态细粒度多线程引擎核心技术的基地。第二巨型计算机,承担圈套以吸颗度多线程系统软件总体设计和工程实现,成功用于世界领先采用众核芯片技术的句型计算机(NE获投资总额超过三千万USD,2004-2011)。第三、研发超并行执行模型。承担超大模型数据流为背景的引擎执行模型的重大研究课题。四、研发超并行引擎,承担以数据流为基础的RUNTIME。系统软件重大发展研究。
下面初步例证跟Spark比,这是Spark结果是在中国测试的,所以这个HT就是用的数据流的技术,不是完全用,但是它那个思想是数据流的思想。在各个测试定位中你可以看到跟Spark比,在常常用的一些不同组的数据中,有五组数据,你可以看到就是说它的优点是明显的,如果你想问为什么,我人也在这你会后可以问。不仅是这样它的备存的用量实际上比Spark还要小,小5到10倍。
在中国的机遇和挑战,一个叫做他山之石可以攻玉,就像我们高铁一样,高铁不是在我这做的,高铁在欧洲、日本做的,别人做好的东西我们可以学习和借鉴,但是一定要跨越它的发展,这里我用红笔勾出来要从中国制造到中国创造。文章来自:CDA数据分析师官网
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28