大数据安防应用中的三种关键技术及五大挑战
在安防行业,随着前端设备分辨率的不断提高、安防系统建设规模的不断扩大以及视频、图片数据存储的时间越来越长,安防大数据问题日益凸显。如何有效对数据进行存储、共享以及应用变得愈加重要。要应用安防大数据,首先要了解安防大数据有何特点。
安防大数据涉及的类型比较多,主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库,如人口库、六合一系统信息等;半结构化数据如人脸建模数据、指纹记录等;而非结构化数据主要包括视频录像和图片记录,如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。区别于其他行业大数据特点,安防大数据以非结构化的视频和图片为主,如何对非结构化的数据进行分析、提取、挖掘及处理,对安防行业提出了更多挑战。
对于安防视频图像数据,传统的处理方式主要靠事后人工查阅来完成,效率极低。面对海量的安防数据,如果继续采用传统方式,不仅效率低下,而且不能达到实战应用目的,偏离了安防系统建设目的。为充分利用安防系统价值,提升对安防大数据的应用能力,大华股份从多层次、全方位考虑产品和方案规划,不断提升对于安防有效信息的快速挖掘能力。
要提升安防大数据的处理效率,首先要从智能分析做起,快速过滤无效信息。大华智能分析从多维度、多产品形态来实现。如对于事件检测、行为分析、异常情况报警等,大华前端、存储以及平台系统产品都能够快速实现智能检测,并通知系统对事件进行快速响应,这些产品从某种层面上将安防有效数据的分析分散化,大大加快了整个系统的大数据处理应用速度。此外,大华还推出了基于云存储系统的大数据应用系统,如视频编解码系统、车辆研判系统、以图搜图系统、视频浓缩摘要系统、人脸识别系统以及车型识别系统等等。
大数据安防应用的几种关键技术
1)大数据融合技术
经过十几年的发展,国内安防系统建设基本形成了是以平安城市、智能交通系统为主体,其他行业系统有效完善的发展态势。而“重建设、轻应用”的现况给安防应用提出了更高要求,如何解决这些问题成为当务之急。
为实现数据融合、数据共享,首先要解决存储“分散”问题,大华云存储系统不仅能够实现数据的有效融合与共享,解决系统在硬件设备故障条件下视频数据的正常存储和数据恢复问题,为安防大数据应用分析提供可靠基础。
2)大数据处理技术
安防大数据以半结构化和非结构化数据居多,要实现对安防大数据的分析和信息挖掘,首先要解决数据结构化问题。所谓的数据结构化就是通过某种方式将半结构化和非结构化数据转换为结构化数据。大华通过采用先进的云计算系统对安防非结构化数据进行结构化处理,为大数据的进一步分析和应用提供进一步支持。
3)大数据分析和挖掘技术
国内平安城市历经十几年的建设,在解决了稳定性、规模化之后,当下面临的问题是如何深化应用的问题,即如何实现公安部的要求,建为用、用为战的目标,实现对安防系统的深层次应用。
对安防大数据而言,要实现业务的深层次应用,首先需要对安防数据进行分析和挖掘,以云存储和云计算系统为基础,通过云计算系统实现对“大数据”的快速分析,如基于云的车牌识别,可通过对海量视频的分析,快速提取海量车牌信息,并通过应用系统对相关数据进行深一步挖掘、关联,形成有效“档案”。最后利用这些分析和挖掘的数据实现对事件的预测预防、报警,最终实现安防系统建设的实战应用目的。
大数据成熟行业应用
安防视频监控行业是伴随着平安城市、智能交通而发展起来了,新一轮的智慧城市建设也为安防行业的再次发展注入了“兴奋剂”。随着各地安防系统建设规模不断增大,安防数据迅速膨胀。由于缺乏适当的手段去利用这些海量数据,导致了“重建设、轻应用”现象,下面就安防大数据在公安和交通行业的应用进行简单介绍。
1)公安执法
在公安行业,大数据应用无处不存,下面简单介绍一下大数据应用在公安行业几个业务体现。
第一是稽查布控业务。当案件发生后,需要对嫌疑车辆进行稽查布控,一般采用布控车牌号,通过系统比对卡口车辆信息进行识别,但这种方式存在问题。当布控车辆从某个卡口经过时,拦截人员通常不在现场,等到拦截人员赶到现场时,嫌疑车辆早已逃之夭夭,从而失去布控的意义。对于这种情况,可实现移动警务、GIS系统有效关联,通过在GIS系统中绘制嫌疑车辆逃跑路线和防控识别圈,可大大提高拦截效率;
第二是车辆落脚点分析业务。随着城市的快速发展,城市越来越大,路网也越来越复杂,为迅速逃脱公安机关的抓捕,很多犯罪分子避开城区主干道(一般来说,城区主干道都装有电子卡口),逃窜到人员比较多的小区或偏僻区域。大华股份通过建设云卡口,通过视频实现卡口相机功能,对海量数据进行云卡口识别,结合GIS系统,将嫌疑车辆轨迹描绘出来,大大提高公安办案效率。
第三是伴随车辆分析。由于公众安全防范意识的不断提高,犯罪分子独立实施犯罪行为的成功率大大降低,因此,新时期的犯罪行为,开始表现为团伙作案。在踩点和作案时,犯罪团伙通常会使用多辆汽车,以提高成功率。从卡口系统的角度看,团伙作案具体表现为多辆车同时出没于特定卡口覆盖范围,利用该特征,我们可以从海量的卡口车辆数据中,提取满足特定条件(如车辆行进路线、车辆通行间隔时间、跟车数量以及分析起止时间范围等)的车辆,提高案件侦破效率。此外,在公安行业还有基于人脸识别的人脸卡口、视频摘要等安防大数据应用。
2)智能交通
第一是旅行时间计算。由于电子狗的大量使用,不少驾驶员在通过卡口时,会主动降低速度,一旦离开卡口覆盖范围,又会迅速提高速度,超速行驶。传统的单点测度无法发现这种超速行为,利用区间测速便可快速检测违章行为,且可减少区域卡口数量,节省建设成本。而当发现相同车牌在相距较远卡口同时出现时,还可检测出套牌车辆,并可通知相关人员进行拦截追捕。
第二是交通流量分析。对于交通流量的检测,传统方式是通过地磁、微波检测完成的,但这种检测只能检测车辆数量,却无法检测相关车牌号,这就限制了传统流量分析的应用场景,智能对单一路段进行分析,无法形成全局的流量分析。而卡口系统记录了车辆号码、车身颜色、车型等更多详细信息,基于卡口系统的流量分析,不仅可计算出城市各小区机动车数量分布,指导出行目的地分析、出行路线分析等应用,而且能够根据车辆流量信息找出城市热点区域,为交管部门提供参考,更好地优化路网机制,规划更为合理的路网参数。
此外,还可通过智能分析系统,对卡口数据进行深层次分析与挖掘,不仅识别车辆车牌号,而且实现对车辆品牌、车辆型号、是否粘贴年检标识、驾驶员是否系安全带、是否驾驶时拨打电话等一些行为状态识别,从而进一步规范车辆达标和安全驾驶行为。
大数据安防面临的挑战
(1)海量非结构化数据存储
相较于其他行业,安防非结构化的数据存储压力不断增大,一方面源于视频、图片等非结构化数据本身容量,另一方面源于安防数据规模的不断扩大,安防大数据存储对系统设备提出了更高挑战,如何在满足需求的前提下,删除重复数据、降低存储硬件成本投资成为海量数据存储的一个难题
(2)数据共享
大数据需要通过快速的采集、发现和分析,从大量化、多类别的数据中提取价值。安防大数据时代最显着的特征就是海量和非结构化数据共享,用以提高数据处理能力。而海量数据存储在不同系统、不同区域、不同节点、不同设备中,这给数据的传输和共享带来极大的挑战:
(3)数据安全
视频监控数据具有私密性高、保密性强等特点,不仅是事后追查的依据,而且更是后续数据分析挖掘的基础。因此,数据安全一方面体现在数据不受外界入侵或非法获取,另一方面体现在庞大数据系统的鲁棒性、体系容错机制,确保硬件在发生故障时数据可以恢复,可以继续保存。面对海量数据的存储、共享、硬件和软件设备承载的极大风险,如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是安防行业面临的重大考验;
(4)数据利用
安防监控虽然数据量很大,但真正有用的信息并不多。安防数据的有效性分为两个方面,一方面有效信息可能只分布在一个较短的时间段内,根据统计学原理,信息呈现幂率分布,往往越高密度的信息对客户价值越大;另一方面,数据的有效性体现在深层次挖掘庞大的海量数据,关联得出有效信息。视频监控业务网络化、大联网后,网内的设备越来越多,利用网内的闲置资源,实现资源的最大化利用,关乎运算的效率。在视频监控领域,往往视频分析的效率决定价值,更低的延迟、更准确的分析往往是客户的普遍需求。如何对海量的视频数据进行分析检索业对行业提出更大的挑战。
(5)缺乏统一标准
国内安防行业经历十几年的快速发展,在此发展过程中,平安城市建设表现卓越,在安防应用中也一直走在前列,国内平安城市系统的建设也不断推动着国内安防技术和安防厂商的发展。在平安城市项目的建设过程中,由于参与的安防厂家众多,不同项目、不同系统甚至同一系统采用的设备厂商也不尽相同,为了更好的兼容各厂商产品,整个安防行业和政府也制定了一些标准,如ONVIF协议、GB28181协议以及各个地方省市发布的一些标准。
新一轮的智慧城市正在紧锣密鼓地进行着,相对平安城市相对“简单”的治安监控,智慧城市要求数据共享,跨区域视频联网监控、监控资源整合与共享以及政府各部门之间的视频监控资源共享等等。但是不同的地方城市,不同的行业类别,不同的管理方式都会有不同的监控系统方案,数据融合或者共享兼容性问题更多,对整个系统建设是重大考验。
平安城市系统面向的是安防行业设备与系统的兼容问题,随着各种行标、地标的制定,各种问题基本得以解决;而智慧城市系统不仅仅是安防系统的整合,而是多个行业系统的集成应用,因缺乏统一标准带来的复杂性可想而知。庆幸的是国家目前已经开始起草智慧城市建设的各种标准,而相关企业也在不断规范自身系统的兼容性和开放性。
数据分析咨询请扫描二维码
数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20统计学专业的就业方向和前景非常广泛且充满机遇。随着大数据、人工智能等技术的快速发展,统计学的重要性进一步凸显,相关人才的 ...
2024-11-20