大数据如何改善我们周围的生存环境
在正式讲环境大数据之前,我们来讲一个和身边有关的案例。大多数去过星巴克喝咖啡的人都会有这样一个疑惑,“为什么星巴克室内温度比室外温度低呢?”甚至有人开始抱怨说室内温度太低,但是这也不会带来什么改变。因为在冷的环境下,顾客肯定会倾向于买热咖啡,而且是大杯的热咖啡。像温度、水分、声音这些东西跟我们平时生活息息相关,包括购买意愿实际上跟我们周围环境都是直接相关的。
前段时间参加了100offer组织的大数据技术沙龙,参讲嘉宾都是来自知名互联网科技界的技术牛人,但是给我影响最深的还是佳格大数据CTO张弓讲的大数据在环境改善方面所做的一些努力,如何通过数据分析来确定一定范围内气候的变化,以及接下来大数据在环境技术方面还需要做那些完善。
张弓说,环境两个字解开了说就是环我之境,周围的环境才是我们所研究的数据核心。所谓环境大数据就是指气象、温度、湿度,包括道路图、建筑图、污染问题,也包括资源性的数据。这些数据有一个特点,具有时空场。
大家现在都讲大数据,大数据就是最核心的三维,人们通过IT技术获得更多的数据。大约15年前,我们就开始通过接触环境数据来做天气预报,因为这是一个处在前端、即时性要求非常高的预报,所以数据的模拟处理都是按照秒级来计算的。所以说数据量是非常大的,包括各种卫星图像所提供的点上数据、面上数据,但是主要以图像或图像流为主。在现在看来,那就是海量数据。
这里再列举一张Skybox拍摄的储油罐的照片,从这一张照片上能获得哪些有价值的数据呢?当然是可以从中获悉储油海港的大小,运输量的大小。
这些数据都是从储油罐的阴影来计算的,通过太阳高度角和阴影长度来计算储油罐的油量,基本上利用这样的方法能将全球80%以上的原油储量计算出来,而且是完全不可阻止的。这就是黑科技的用途。
大数据就是技术型企业的根本,对数据的分析精度决定了数据的价值大小,张弓说他们以前分析数据的尺度非常粗糙。简单的说,对时间的衡量是以年或月做单位的,这种数据分析的商业价值就会比较低,更多作为策略性使用。
现在的原始数据是非常大的,比如一张从卫星里发送出来的图片,是一种描述地面的时空数据,数据量非常大。另外一类是模型数据,对模型进行分析。因为时空是连续的,所以用于模型分析的方法相对较为复杂,例如从内蒙古刮过来的沙尘暴会到它的下风口北京,属于连续时空性动作,很难用数据来描述。十几年前基于数学算法,针对时空图像数据利用MPI+Fortran来处理海量数据,还创造出HDF和NetCDF这些类似于现在Spark或Hadoop的工具。
众所周知,数据最核心的部分就是具有极强的时空连续性,这里就涉及到数据获取和数据融合的问题,因为不同的数据源,不同的数据类型、不同的数据格式,导致每一个时空上面颗粒分辨率是不同的,如何把250米*250米的数据和一个30米*40米的数据进行比较,这里就涉及到比较复杂的时空尺度融合问题。从数据结构上考虑,如果时空数据本身是连续的,可能更便于计算,它的分析工具的内核也是基于Spark为主。
数据可视化就更复杂了,这里面最主要的一个可视化类型就是把数据变成图形来展现,而且让人们更容易的接受这些图片。
数据分析是针对图像数据化过程的核心内容,就相当于一个分析可视化的过程,从而获得我想要的数据,这是比较困难的。所以这里就用到了能够进行图像识别和模式识别的机器学习和深度学习的概念。比如说如何用不同的颜色把田地里不同作物表示出来,哪怕是作物的方向也要识别出来的话。这里就要分析纹理的朝向和密度。第一步先做深度学习,原始分辨率是半米乘半米,深度学习要有足够的层数,然后对图像进行处理,建立一些窗口,比如建立3乘3、5乘5、9乘9窗口,下图是用了208个方块做出来的深度神经网络结果,识别度超过人眼。这样做的结果就是能够很清晰的知道庄稼的长势如何,如何根据这些数据来安排接下来的土地利用情况,最大化土地利用率。
这里可以来谈谈之前在网上传播很广的雾霾预警图——佳格“霾图”。这是基于环境大数据,对大气污染进行实时监测预警的工具。“霾图”用地图的形式实时展现我国任一地区的大气污染数据,并预测未来五天的空气质量。其实时数据目前每小时更新一次,空间精度为五公里。用大数据直面雾霾这块“硬骨头”,不仅需要充分准确的数据源、优秀的数据处理,还需要合适的可视化能力。
对于采集到的大量数据,需要进行整合处理才能用来生成霾图。霾图的数据算法主要包含两个任务:
数据同化和实时展示任务。获得的卫星数据主要分两种,一种是时间分辨率高的数据,一种是空间分辨率高的数据。这需要把两种数据进行融合;同时卫星并不会直接给出PM2.5的测量数据,而是一类光学指标,其中包括大气气溶胶光学厚度(aerosol optical depth)。利用基于不同城市自主研发的算法将这个变量计算出准确的PM2.5浓度值,并在“霾图”上实时展示。
预测任务。目前国内空气质量预测主要有两种传统方法:第一种是根据大气物理化学(污染物的沉降,运输和扩散以及二次气溶胶反应)的经典算法跟污染物排放清单的集合对未来大气情况进行推测;第二种是基于数理统计模型方法。比如拿到过去十年的数据,通过对时间序列的季节性,趋势性进行分析来做预测,辅以人工判断。这两种方法主要使用的都是地面监测点提供的数据,并没有用到卫星数据。同时国内排放清单数据存在时效性弱的弊端,并且地面监测点分布不均且数据容易受到人为因素的影响。这样所得到的预测结果存在着极大的偏差和局限,准确度较低。
相比这两种传统方法,佳格“霾图”所开发的预测方法和模型具有自己的特点:首先,佳格做预测的数据是更精确均匀的卫星数据。其次,佳格运用模型最优化方法,综合考虑多种国际上最先进的气候预测模型,通过算法选出动态的最合适的预测模型,用于预测未来五天内的空气质量情况。
张弓在最后的演讲中也提到,大数据的潜力还没有被完全挖掘出来,这需要时间和不断的尝试才能发挥它最大的价值,更好的改善我们的日常生活环境。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17