大数据环境下的智慧城市建设
前言:大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
智慧城市推动大数据概念
据统计,目前我国常住人口城市化率已达到50%,逐渐形成了以北上广深等特大城市为中心的,多层次、功能互补的城市群。国际上主流学者认为一个较为理想和稳定的城市人口占总人口的比例应在75%左右,所以在未来较长时间内,中国城市化仍处在大规模加速过程中,据估计未来中国城市化进程还将延续30年。这一趋势伴随着城市化进程和城市体系与空间分布的快速变化,此外,社会管理问题也越来越突出,例如候鸟式劳工迁移问题,交通效率快速下降,空气、淡水、食品安全等问题。如何将日益丰富的各类信息资料,通过处理来积极地影响城市正常运行是一个主要问题。智慧城市结合大数据将是应对上述问题的现阶段最佳解决方案。
从智慧城市的体系结构来看,由于智慧城市的基础在于物联网技术,因此智慧城市体系结构和物联网的体系结构相类似,也可分为感知层、传输层、平台层、应用层。智慧城市相对于数字城市来说,最大的区别在于对感知层获取的信息进行了智慧的处理,因此也可以认为智慧城市是数字城市的升级版。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入大数据处理技术。
智慧城市与大数据实践经验
从国家政策来看,中国“863计划”智慧城市项目总体技术体系架构在科技部863计划“智慧城市(一期)”项目的支持下,863计划智慧城市项目(一期)总体组提出了“六横两纵”的智慧城市技术框架。“六横”层层递进,最下层的是城市的感知层,再是传输层,再上面依次分别是处理层、支撑服务层、应用服务层,最上面是智慧应用层,贯穿全局的是安全保障体系以及标准与评测。而要真正实现智慧城市,必须引入大数据技术,主要包含三大方面的需求,通过以下三个方面才能实现海量数据的搜集、处理、加工、分析,并真正作用于具体细分行业:
大数据融合技术
我国智慧城市建设面临的重大挑战之一,是城市系统之间由于标准问题无法有效集成,形成信息孤岛。因此,在大数据融合技术领域,一方面要加强大数据标准建设,另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发,为给予底层数据集成的信息共享提供标准和技术保障。
大数据处理技术
大规模数据在智慧城市系统流动过程中,出于传输效率、数据质量与安全等因素的考虑,需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合,这也是目前国际产业界普遍采用的技术方案。
大数据分析和挖掘技术
相比于大数据融合和处理技术,大数据分析与挖掘技术更为复杂,是国际学术界和产业界面临的极具挑战性的技术难题。
随着大数据技术的不断发展,以及行业用户对大数据技术的需求日益增长,大数据行业应用遍地开花。笔者通过对智慧城市大数据应用的探索,分享一些国内外的实际案例供读者借鉴。
国内的智慧城市
2013年3月,北京市的“智慧朝阳服务网”正式上线。通过大数据技术的处理、分析手段,从支撑库提炼出数据后发送到服务管理系统,然后通过服务门户,包括微信、微博、移动应用、服务网站、机顶盒等多元化的方式与不同的用户群体进行沟通。
国外的智慧城市
瑞典首都斯德哥尔摩市政府在通往市中心的道路上设置了18 个路边控制站,通过使用RFID 技术以及利用激光、照相机和先进的自由车流路边系统,自动识别进入市中心的车辆,自动向在周一至周五(节假日除外)6 :30 到18 :30 之间进出市中心的注册车辆收税。通过收取“道路堵塞税”减少了车流,交通拥堵降低了25%,交通排队所需的时间下降50%,道路交通废气排放量减少了8% - 14%,二氧化碳等温室气体排放量下降了40%。
智慧医疗英特尔协助用友医疗制定了基于英特尔大数据解决方案的区域卫生数据中心建设目标,在锦州区域卫生数据中心形成了完整的大数据解决方案。经过反复测试和调优,这一区域卫生大数据计算架构可以满足海量数据(一亿条以上记录数)的高并发检索和实时数据分析的性能要求,满足了“智慧”的大数据需求。
智慧警务
通过充分利用云计算、物联网、大数据和视频智慧分析技术、GIS(地理信息系统)、GPS(全球定位系统)、移动通信网络、移动警务智能系统、数字集成等前沿科技,实现警务工作现代化、智能化、流程化、可视化。
智慧交通
郑州建立智能公交系统,使公交车信息就在地图上显示出来:如最近的一辆公交车还有5 分钟到站,满员;下一辆公交车还有10 分钟到站,有空座,可以选择乘坐;下楼2 分钟,走到站台1 分钟,余下7 分钟,还有时间坐下喝杯热茶。
智慧消防
广州建立智能消防系统,报警人只需拨打119,系统将立刻定位报警人当前位置,并调用位置所在区域监控摄像头,确定灾情地点和火势情况。
安防行业的大数据如何应用?
2012年7月21日,北京遭遇了一场61年不遇的特大暴雨。北京市区路段严重积水、交通中断、市政水利工程多处受伤、众多车辆被淹造成人员伤亡。灾难过后,城市管理者意识到城市的安防必须长远规划、着眼于长效根本的解决之道,亟待综合治理。安防行业由于受到自身业务特点及行业内厂商研发方向的限制,大数据应用在安防行业的进展一直不够深入。但安防行业与大数据的契合度较高,尤其是对视频监控数据、智能交通数据关注度越来越高。例如海康威视将大数据应用于视频图像的采集、传输、存储、管理、展示和挖掘等方面,解决了海量数据的存储、调取和管理难题。
在安防与防灾领域,通过大数据的挖掘,也可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力等。除了对历史数据的挖掘采集,实时数据的挖掘也是未来的一种趋势。通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市安防提供强大的决策支持,强化城市管理服务的科学性和前瞻性。海康威视将大数据流式计算框架Spark应用于智能分析技术,极大地提高了实时性分析效率,为安防领域与大数据技术结合提出了方向。
此外,数据处理服务通过智慧城市公共支撑平台对数据进行分析,从中挖掘价值,寻找关系。数据处理技术包括机器学习、数据挖掘和复杂事件处理等。传统的机器学习、数据挖掘在处理面对海量、异构的智慧城市数据时效率低下,通过分布式计算框架改进,提升处理速度。根据数据处理要求的实时性与否,可分离线处理和在线处理。应急防灾类智慧城市应用具有实时、在线处理的要求,数据处理服务要及时预测结果,为城市管理者提供决策支持。对于离线处理的数据,通常保存在分布式数据库和分布式文件系统,均可基于Hadoop MapReduce等分布式计算框架分析该类数据,并可通过Apache Mahout等数据挖掘工具对数据进行深入研究。
对于需要在线实时处理的数据,如流式数据,其数据处理的方法与离线数据区别很大。多个传感器按照小周期采集的数据、多个摄像头采集的视频数据等属于流式数据。流式数据与离线处理的数据最大区别是数据处理要快,数据处理要及时。复杂事件处理(Complex Event Processing,CEP)技术是一种数据处理引擎,来捕捉不同来源的各种简单事件或事件流,根据预先定义的事件模型,实时、高效地发现海量事件之间的关系或推断出更有意义的事件,提供决策依据。
汲取国外经验,加大软件建设力度
欧美发达国家在智慧城市的建设上非常重视软件建设,只有掌握了数据,才能做出合理的分析,才能总结出公共安全的客观规律,真正提升应急管理能力,进而根除城市安防交通、灾害等一系列的问题。近几年国内在智慧城市的建设上只重视硬件建设,而忽视软件和信息系统建设。智慧城市的建设,需要软硬结合,我国应该汲取国外的先进经验,加大软件建设的力度,真正掌握建设智慧城市的主动权。
大数据时代的到来打破了数据的垄断,信息源的扩大化和丰富化是大数据时代的重要特点。在可以预见的未来,大数据将遍布城市各个角落,不管是人们的衣食住行,还是城市的运营管理,都将在大数据支撑下走向“智慧化”,而大数据将为智慧城市提供“智慧引擎”。
此外,应该明确智慧城市是城镇化进程的下一个阶段,是城市信息化的新高度,是现代城市发展的远景。无线城市、数字城市、平安城市、感知城市是智慧城市的必要条件。诚信城市、绿色城市、健康城市、人文城市是智慧城市应有之意,智慧城市产生大数据,大数据反过来支撑智慧城市。智慧城市与大数据技术相结合一定会有璀璨的明天!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29持证人简介 郭畅,CDA数据分析师二级持证人,安徽大学毕业,目前就职于徽商银行总行大数据部,两年工作经验,主要参与两项跨部 ...
2025-01-282025年刚开启,知乎上就出现了一个热帖: 2024年突然出现的经济下行,使各行各业都感觉到压力山大。有人说,大环境越来越不好了 ...
2025-01-27在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-01-26数据指标体系 “数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而 ...
2025-01-26在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-25俗话说的好“文不如表,表不如图”,图的信息传达效率很高,是数据汇报、数据展示的重要手段。好的数据展示不仅需要有图,还要选 ...
2025-01-24数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪70 ...
2025-01-24又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-23“用户旅程分析”概念 用户旅程图又叫做用户体验地图,它是用于描述用户在与产品或服务互动的过程中所经历的各个阶段、触点和情 ...
2025-01-22在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-22在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09