安防行业:未深入发掘的大数据宝库_数据分析师
记得几年前看过一部电影,威尔史密斯主演的《国家公敌》,影片中美国的各个角落充斥着摄像机,CIA可以随时调用这些摄像机进行追踪,无数的摄像机形成了一张超级大网……当时觉得有点科幻也有点背寒。
不过短短几年,这已经成为了现实,成百万的摄像头已经联网,给我们的人财安全、交通出行带来了非常多便利,但这仅仅是开始,实际上,现在的技术已经能够很轻松地进行智能识别、人流计数甚至行为识别等,这庞大的视频数据分析比传统互联网数据更接近于真实的世界,这个潘多拉盒子的里面,究竟会带来什么?
视频监控将是世界上最大的数据生成器
2012年这个世界上增加了2.8ZB的数据,相当于30亿TB。如果视频数据也存储下来,这个数据就要翻倍了。
以国内某省为例,公共视频监控已经超过100多万个摄像头,总保有量近400万,以此估计,全国摄像头数量不少于4000万,某投行的报告称行业每年还在以20%加速增长,行业龙头海康威视12年的年报披露的销售量就达570万套(含前后端),增长37%。而另一个数据也很惊人,英国的摄像头数量与人口数量之比已经达到1:15。粗略计世界至少有1亿个摄像头在角落静静的看着。
如果这些数据存储下来,将是超级大数据。假设所有摄像头换为1080P,每天的数据量是64G,每年的数据量是23T,全世界每年将产生23亿T的视频数据。
这是个可怕的数字。不知是有幸还是不幸,绝大部分视频监控数据存储不会超过一天,因为从目前看来,与存储的价格相比,这些数据不值钱。
正在形成的超级视频监控云
视频监控已经不再是以前那样,几个摄像头连到大楼保安室,只有进入这个神秘的房间才能一窥究竟。实际上,监控摄像头已经成为了智能终端,有网口、能控制甚至可接双向音频,摄像头的互联已经成为趋势。
例如公共视频,已经从一个城市内的互联,发展到一个省的互联,逐步到一个国家的互联,无论是新的网络摄像头,还是旧模拟摄像头+DVS/DVR,都开始加速接入一个庞大的云平台,从单纯的视频流媒体数据到云台操作,每一个终端都成为了一个可被远程控制的智能化终端。而另一端,这些数据又被包装成各种公共应用向公众开放,看看媒体里充斥着多少手机可实时查看城市道路交通视频的新闻。
除了公共视频,无数私有视频也在形成私有云,分支庞大的连锁超市、连锁酒店、物流公司、金融机构甚至工业生产线,无数端点的数据正在向云汇集。而不少国家也要求私有视频数据也要定向开放,可被调用和操作。
这正是与互联网不同的物联云网络,从感知到互联到应用,只不过这个感知是用无数的“眼睛”看世界。
欢迎进入“楚门的世界”。
视频大数据的价值还未发掘
一般看来,视频的冗余数据太多,只有发生了突发事件才会回看记录,所以大部分视频数据的存储很短,超过一周的少之又少。而另一方面,由于数据读写要求高,云端存储极为昂贵(几千元1TB),所以绝大部分数据都是存在前端。
视频智能分析的初衷就是要解决冗余数据的问题,把人从枯燥的监控中解放出来,帮助人更好的眼观六路。所谓智能的核心就是目标识别和行为分析,按照应用的要求设定规则,当视频中的信息符合规则时才进行告警和记录,常见的应用包括入侵检测、周界告警、车辆识别、交通违法监控等。
目前行业主流的智能分析厂商,如国外的ObjectVideo、ioimage、Emza,国内的卓扬科技、文安科技、智安邦科技等,基本都是围绕 “监控”二字,属于视频数据的初级加工,一般只是对单个摄像头的视频信息进行实时处理,按一定规则产生事件数据(如告警事件、车辆计数),跨空间和时间范围的二次加工分析还比较少,因此,视频监控领域并未真正的形成互联网意义上的大数据。
不过视频监控数据必定能成为下一个大数据的宝库。一方面,它具备了典型的大数据4V特征,数据量巨大、多样化、表面上无序、但暗含着无数人和物的行为。另一方面,它是真实世界的写照,这与互联网获得的大数据有很大不同,真实世界蕴含了无数难以用格式化文字表达的信息,比如人通过视觉可以快速形成判断,一个地方是繁荣还是衰退,气氛是紧张还是欢快。
当然,前提是,存储成本能降下来,数据处理能力能升上去。
潜力巨大的应用
比如对于一个商场,除了对安防的需求之外,对视频数据的二次挖掘,可以搜集顾客的性别、年龄、穿着信息,可以统计顾客的购物路径、停留模式、聚集热点,甚至可以二次或者多次回头率、到店周期等。这类似于网站访问分析,能为商场的优化提供基础数据。如果是连锁型企业,还能结合多店的数据,获得区域性甚至全国性的数据。
同样放大到一个城市,每个街道的人流数据、车流数据都在其中,这些数据整体汇集起来,就是一个城市的人车分布图,静态的如不同区域人的特征、车的特征,动态的如人车的路径、停留模式,这对城市的规划和管理都极有价值。
如果再结合到时间线,从无数摄像头收集到的信息,还可以看出一个国家、一个区域、一个城市的变化,如同《大数据》里所言,甚至可以预测趋势,比如是否更多的店铺在新装修开张还是更多的歇业,是更多的饭店还是更多的服装店等,这些变化汇集起来我们可以看到人口的变化、经济的趋势、潮流的趋势、自然环境的变化甚至人的快乐和紧张程度。
这不是天方夜谭,现在的技术已经完全做到。一方面高清摄像机的普及,视频信息质量更加优良;另一方面,智能分析的水平已经相当的高,对物品的识别和分离、对人脸的识别、对颜色文字数字的识别、对物体变化的分析甚至还有暴力行为的监测。
但要实现这种意义上的数据挖掘,需要进行大量元数据的记录,甚至是与监控目的无关的元数据,要***度的进行分析,需要海量的数据汇集存储和超大规模的数据处理,最后还需要基于位置和时间的进行关联性分析整合,这巨大的资源和成本耗费是打开大数据之门的障碍。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28