环境大数据应用“含苞待放”_数据分析师考试
近期,大数据的“倩影”频繁出现在国家出台的各项方案和指导意见中,也成为环保系统热议的内容。
据了解,北京、武汉等不少省市的数据资源中心早已建成。截至目前,全国将近2/3省(自治区、直辖市)环保厅都已建成或正在建设环境数据资源中心。
面临大数据的龙卷风,环境数据资源中心是否做好了准备?环境大数据应用走到了哪个阶段?
数据如何“开口说话”?
相比于其他省市的环境信息化建设,北京市环境信息化建设起步较早。北京市环境数据中心的建设开始于2012年,并于2013年正式投入使用,目前,北京市环保局各个业务处室主要的业务数据已经进入环境数据中心。
北京市环境信息中心主任陈海宁介绍说,数据中心的建设极大地便利了环保工作,比如原先环境监察人员进行污染源监管,需要查阅大量纸质资料,手工记录现场情况,现在只要通过监控终端或移动客户端直接调取数据中心的数据,就可以对污染源相关数据进行查阅和记录,环境监管省时省力。
但不久之后,陈海宁的困惑也出现了,“数据中心是建成了,但数据中心对各业务部门的帮助还很有限,如何开发更好的大数据产品为环境管理服务,成为数据中心要突破的瓶颈。”
同样走在前头的武汉市也面临类似问题。武汉市环境信息中心主任詹炜介绍说,武汉环境数据中心很早就集成了各业务部门的数据,“但现在这些数据只用来做一些简单的统计和报表,数据还没有真正‘开口说话’。”
而更多省环保厅的环境信息中心处于不断建设和完善的状态。据了解,内蒙古环境数据中心已经基本建成,目前已经进入第三期建设;云南省正处在“数字环保”第二阶段,重点建设资源数据中心。
环境保护部信息中心也很早就开始注意到数据资源的开发情况,希望大数据可以成为解决环保管理问题的钥匙。去年开始,环境保护部信息中心副主任徐富春带领探索大数据应用,与微软(中国)有限公司合作开发了城市局地大气主要污染物时空分布大数据模型——U-Air,这一合作也开启了大数据应用的“第一春”。
以U-Air为代表的大数据应用兴起
目前,我国地面空气质量监测点位的设置是根据行政区域设置,站点数量非常有限,不能反映污染物的空间分布,易受站点附近环境影响,造成不同区域受众对数据可信性的质疑。
就北京来说,北京市有35个地面空气质量监测点,但不能完全反映整个北京市的空气质量状况。“U-Air通过获取地面监测站的空气质量数据,结合交通流、道路结构、兴趣点分布、气象条件和人们流动规律等大数据,用基于机器认知的算法就能模拟出城市细粒度(1km×1km)的空气质量,并能对未来24小时的空气质量进行预测。”徐富春说,这不仅弥补了地面监测在地域上的局限性,实时监测每一寸土地,也破解了在没有污染源排放清单、排放边界不太清楚的条件下,如何预测城市空气质量的难题。
“U-Air是一个运用大数据解决环保问题的典型案例,并且在科学性和技术性上都经过了一定的验证。”徐富春告诉记者,大数据应用需要满足3个条件,第一就是数据量要足够大,第二是数据类型要多元化,第三是要基于机器认知的学习方法和算法。U-Air除了有行业类结构化数据,还有城市道路数据、路网结构、气象数据、地理位置、城市特征分布等数据,后台也具备机器学习和认知计算的条件。
微软(中国)有限公司资深架构师罗彤介绍,未来U-Air将可以提前预测1小时~5 小时的空气质量,以帮助人们更好地计划自己的生活,比如什么时候和去哪里慢跑,什么时候应该关窗户、什么时候应该带上口罩。
其实,除了微软在大数据应用方面开展探索外,面对大数据这块大蛋糕,环保产业已经跃跃欲试。
中科宇图天下科技有限公
司还建设了自己的大数据中心。据中科宇图总裁姚新介绍,公司的大数据中心不仅包括各地环保业务数据,还有与环保相关的行业数据,目前,他们也研发了空气质量预警预测模型。
北京力鼎创软科技有限公司提出了“霾计算”总体架构,结合传统空气监测数据、污染源数据、气象数据、交通数据、餐饮、学校、加油站等信息,对空气质量进行预警预测。
北京思路创新科技有限公司则利用大数据推出了环保快搜功能,实现了各类业务一体化查询。此外,环保快搜还可以根据用户偏好分析,自动为用户推荐可能需要的环境数据。如污防部门每个季度都需要超标排放的企业数据,系统可以定时为用户推送。
大数据分析的核心就是算法和模型的研究,IBM中国研究院在大数据应用的模型上下足了功夫。据IBM中国研究院高级总监王海峰介绍,IBM采用Watson认知计算技术融合多类型多来源模型(物理模型、学习模型、专家模型),建立了可自调节的空气质量超级模型,可以用于环境污染仿真建模和天气预测与预警。王海峰还介绍了大数据在监测污染源方面的独特优势,通过对卫星观测数据、移动用户提供的污染源信息、地面污染源监测数据进行计算,就可以识别异常数据,为环境执法提供依据。
而大数据产业的发展又为环保部门与企业的合作提供了新的机遇。在环境保护部信息中心3月举行的一次环境信息资源应用研讨会上,鄂尔多斯遇上了IBM。
鄂尔多斯大数据平台只是开端
记者了解到,鄂尔多斯环保工作已经进入信息化带动环境管理的新阶段,环境数据资源中心也已建成,未来将全部布置在鄂尔多斯大数据中心。
鄂尔多斯环保局局长董介中介绍说,鄂尔多斯大数据中心将拥有市政、交通、农业、气象、能源等社会各方面的数据,不久,环保数据将真正对接大数据。开发大数据平台、利用大数据为环保管理工作服务是鄂尔多斯环保局急切要解决的问题。于是,在环境保护部信息中心、内蒙古自治区环保厅的支持和指导下,鄂尔多斯环保局与IBM合作建成环保大数据平台,并初步投入使用。
目前,除了传统的地面观测数据、排放清单、重点污染源监测数据、气象数据、地形地貌,大数据平台还集纳了卫星遥感数据、企业生产数据、移动传感器数据、社会舆论、企业信用情况等数据资源。
“大数据平台的一大特点就是可以准确溯源,当自动观测站数据发生异常的时候,平台会自动触发溯源分析,依次进行气象分析、空气质量分析,然后开始污染溯源,再进行企业集中生产分析。”董介中告诉记者,大数据平台溯源可以给出量化分析结果,从而为精准执法提供数据支撑,有利于提高执法效率。
以往,溯源基本上依靠人工观测,无法估算具体的贡献量,极容易出现偏差。鄂托克旗位于内蒙古乌海市与鄂尔多斯市交界处,毗邻多个工业园区,污染状况一直处于说不清的状态,经过大数据平台的计算,鄂托克旗彻底搞清了污染来源。“大数据平台的溯源功能便于我们环保部门有针对性地开展环境治理。”董介中说。
除了溯源外,大数据平台还可以对重污染天气进行预测预警,甚至可以预测哪一天将出现重污染天气,从而有利于环保部门有针对性地管控污染源,避免重污染天气的出现。鄂尔多斯信息中心接入在线监控数据和空气自动站数据后,记者看到一张色块动态图,绿色代表空气质量最优,颜色越来越深,就代表空气质量越来越差。
鄂尔多斯环保局大数据平台可说是环保系统开展大数据应用的一个代表,大数据建设也将成为环境保护部下一步工作的重点。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
如何构建数据分析整体框架? 要让数据分析发挥其最大效能,建立一个清晰、完善的整体框架至关重要。今天,就让我们一同深入探讨 ...
2024-12-27AI来了,数分人也可以很省力,今天给大家介绍7个AI+数据分析工具,建议收藏。 01酷表 EXCEL 网址:https://chatexcel.com/ 这是 ...
2024-12-26一个好的数据分析模型不仅能使分析具备条理性和逻辑性,而且还更具备结构化和体系化,并保证分析结果的有效性和准确性。好的数据 ...
2024-12-26当下,AI 的发展堪称狂飙猛进。从 ChatGPT 横空出世到各种大语言模型(LLM)接连上线,似乎每个人的朋友圈都在讨论 AI 会不会“ ...
2024-12-26数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19