新价值大数据解决城市大问题_数据分析师
城市化进程让人们在享受现代文明成果的同时,也带来了交通拥堵、能耗增加、空气恶化等问题。而随着大数据分析技术的发展,大数据也能运用在城市管理与环境治理之中。2014年5月,环境保护部信息中心与微软(中国)签订了谅解备忘录,双方将共同优化Urban Air(基于城市大数据计算城市大气质量的计算模型),进一步研发该模型为政府环境管理服务的功能,共同探讨并践行大数据在环保领域的业务化应用。
近日,2014全国环境信息技术与应用交流会在海口举行,围绕“十二五”环境信息化任务目标和国内外环境信息技术发展趋势,大会通过主题报告、高峰对话、专题论坛等形式,就“改革促融合,信息强环保”的主题进行广泛交流和经验分享。那么,大数据将如何在环境信息领域创新应用,该应用将对环境治理发挥怎样的作用?会上,记者采访了微软亚洲研究院主管研究员郑宇博士,为大家揭开大数据里的秘密。
微软Urban Air
气象部门已经能够对于天气的变化做到较为准确的预报,而这种对于规律的认知,现已延伸到了与人类生活同样密切的其他方面。“今天几点出门锻炼健康?”“下班后哪条道路会更拥堵?”“明天城市里哪一片区域PM2.5会比较高?”……“这些看似不可预知的事件,利用大数据都可以进行精确模拟和预测。”郑宇说。
“我不是环境专家,这些对于环境保护方面的分析全部基于对异构数据的研究。”郑宇举例说,在同一时刻、同一城市的不同地方,空气质量受到交通流量、工业排放、道路密度等因素影响差别会很大,这些因素在城市不同地方都不一样,这让我们很难精确地判断一个没有建空气质量监测站点的地方,空气质量到底如何,它不能用平均值来替代,因为是非线性的。
“怎么做呢?我们用两部分的大数据做实时的细粒度空气质量分析,第一部分是已有空气质量监测站点实时和历史观测数据。第二部分加了其他数据源,其中第一个就是气象条件,比如说刮风、下雨、风速、气压、湿度等;第二个是交通流量,比如这个区域里面车的平均速度是多少;第三个是该区域人的移动性,有多少人进出这个区域;最后是这个区域里面的兴趣点分布,比如有多少厂矿,有多少个电影院、酒吧、红绿灯等。”郑宇说,有了这样的异构数据之后我们就可以建立一个地方的数据分布,以及这个地方空气质量观测值的网络模型,最后得到一公里乘一公里范围内的细粒度。
郑宇表示,基于这样的数据分析,就可以为管理决策者们提供科学依据。“我们可以做实时城市空气质量和污染物排放预警,比如这一区域产生大量的污染,我们可以对周边的老百姓进行预警。除此外,在做交通限流管控的时候可以更加精确。因为某些区域并不是因为车辆产生的尾气排放导致的污染物,我们只需要在某个特定时间段对某个区域做单双号限行即可,没有必要做全城限行。”
郑宇说,以上的例子说得就是城市计算中异构数据的融合问题,这也是大数据的核心问题。除了常用的环境数据之外,我们需要更多其他的异构数据源,可能看上去和环境数据并不直接相关,但是能够帮助我们解决环境的问题。对此,环保部信息中心主任程春明表示赞同,他认为如何更好地融合和利用城市中的异构数据,对环境信息化工作至关重要。郑宇表示环保部信息中心对于双方的研究合作给予了大力的支持,除京津冀及周边地区,未来双方希望在全国环保重点城市推广Urban Air模型。
在2014全国环境信息技术与应用交流会上,环保部信息中心副主任徐富春作了数据科学方面的专题报告,并分享了信息中心与微软等企业在数据技术(Data Technology)方面的交流与合作,以及在城市空气主要污染物时空分布计算上的探索和实践。徐富春表示,数据科学是信息化新的发展方向,数据驱动是一种新的信息化思维模式,以环境信息化为例,我们应该运用数据驱动推动环境管理优化升级和转型,“但这还需要大家形成一个数据共识去推动这一工作,各地区、各部门需要积累或者建立数据清单和数据资源,建立起跨地区跨部门的合作平台,更好的让大数据为环境管理和决策提供服务。”
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21