视频大数据时代的“火眼金睛”
我们身处一个大数据的时代,视频数据的爆炸性增长是这个时代的重要特征之一。“如何让计算机看懂视频的内容,实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。”中国科学院自动化研究所研究员王金桥告诉《中国科学报》记者。
多年来,王金桥所在的模式识别国家重点实验室图像与视频分析组,聚焦上述核心技术目标,在视频内容检索、目标检测与跟踪这两大主要任务上突破诸多重要技术壁垒,积累了丰富的核心算法,展开了一系列有特色的应用。
技术不应止步于实验室
在视频检索方面,图像与视频分析组基于多模态的语义描述,提出了跨模态四元组度量学习方法。王金桥解释道:“该方法可充分融合多类别和多部件等信息,形成了以目标、场景、概念、事件为主体的端到端多粒度结构化语义描述框架,以实现对视频内容的认知理解。”
在目标跟踪方面,图像与视频分析组提出多部件结构上下文学习的跟踪算法,克服了目标局部遮挡和变形造成的目标漂移问题;提出深度特征蒸馏的目标跟踪方法,在不损失跟踪性能前提下将跟踪速度提高了5倍以上。
依靠上述在理论、方法上的创新和经验积累,图像与视频分析组在第一届、第二届智慧城市视频分析技术挑战赛,欧洲图形国际会议多视角目标检索竞赛,美国TRECVID视频实例检索比赛等国内外多项赛事中屡获优异成绩,展现了在视频分析这一领域的超强实力。
据王金桥介绍,在2016上海BOT视觉大数据识别竞赛中,由团队成员组成的ITdog队一路过关斩将,从400支代表队中脱颖而出,最终获得计算机视觉竞赛的第一名和最佳算法奖。王金桥表示:“我们的竞争对手中不乏来自清华、北大、上海交大、哈工大,以及百度、阿里、360等著名高校和行业巨头企业的队伍。”
在复赛任务“货架精细目标检测和识别”中,他们采用了尺度自适应反卷积稠密检测网络,并融合多任务四元组的精细排序模型,在236种货架商品中精细区分出87种薯片、88种方便面和64种洗发水。决赛任务是由12种动物、5种场景和5种物品组成“智能视觉问答”,他们用同样算法在比赛中展现出良好的性能,最后成绩比第二名高出一百多分。
“先进的技术不应该止步于实验室。”王金桥说,“我们始终关注着企业和市场的实际需求,努力将研究成果应用到实际生产生活之中。”目前,团队高效目标检测与跟踪的多项研究成果已经作为视频分析、检索及其相关智能信息服务的核心技术,通过各种方式落地转化,特别是针对人、车、物等不同类别的目标形成了不同的产品,已经走进人们的生活。
不只识人 慧眼识车
2016年7月,图像与视频分析组与联想大数据研究部共同发布了针对零售行业视频分析的解决方案——V-Perceptor。王金桥介绍道,该解决方案能够利用门店里摄像头拍下的视频数据实时分析客流、进店率、顾客在店内的运动路线等信息。
V-Perceptor主要能实现三个方面的功能:一是店内区域热度图分析,分析店内区域人流热度、顾客的统计分析(比如顾客年龄,性别等),从而帮助商家知晓店内人流的分布情况。二是店内顾客的运动轨迹分析,据此对店内布局、商品摆放给出合理性的建议。三是回头客识别,为回头客提供精细化个性化服务,进而改善服务体验,提升店面联系客户、运营客户的能力。
王金桥透露,目前V-Perceptor已经在北京世纪金源联想零售3C店试点使用,并计划在100家店面进行部署测试。
如今,各种用途的监控摄像头已经遍布街头巷尾,然而由摄像头产生的海量监控视频数据结构化利用率极低。据统计,80%以上的案件需要从监控视频中获取线索,公安部门工作量巨大,海量视频的智能检索十分迫切。
在此背景下,针对车辆识别的需求,图像与视频分析组与华为、武汉大千公司等合作开发了“车型大数据精准分析检索平台”,实现车型、车款、车颜色、车属性的精确识别。目前这一产品已经在河南、湖北、贵州、广东等地的公安侦查、交管部门应用。
基于四元组深度排序学习的车型大数据分析检索算法能够精准识别包括车型、车款、颜色的4000类车头信息、1500类车尾信息,以及包括驾乘人员、人脸、年检标、遮阳板、纸巾盒、转金桶、摆件、安全带、打电话、行李架、天窗在内的11种车属性信息。王金桥指出:“这些信息形成了每一辆车唯一的‘车纹’,从而实现在海量的监控视频中快速检索并跟踪目标车辆。”
此外,在公安侦查方面,该平台能够快速查找嫌疑车辆在全城市的行驶轨迹,实施布控、跟踪和抓捕;如果获得嫌疑车数据,可以在可疑车辆数据库里实时进行搜索分析。“即便车辆经过换牌照、重新喷漆等改装,也逃不过该系统的‘火眼金睛’。”王金桥补充道。
智能辨物 无缝关联
各种智能家居产品已经走进人们的日常生活,如果在冰箱中安装摄像头,从它拍下的视频中能够获得什么信息呢?
为此,图像与视频分析组将基于尺度敏感的多特征学习的目标检测算法用在视频中食品的检索、跟踪和分析上,能识别100多种食品,识别精度达到90%以上。王金桥称:“目前该技术已在某公司冰箱产品中投入使用,消费者马上就能在市面上买到这款智能冰箱了。”
这款智能冰箱不仅有眼睛“看得见”,还有大脑能分析思考。通过冰箱内部安装的摄像头,冰箱可对视频内食品信息进行识别、跟踪,就能获知用户消耗的食品类别和数量。这些数据实时上传后台的健康大数据平台,还能为用户提出个性化的健康饮食建议。
“在我们观看的电视节目和网络上视频内容中,天天都能看到大量的广告内容。商家希望广告投放更加精准,同时观众们又不希望广告内容影响观看效果。”王金桥说,“面对这样的需求,视频检索与分析技术就有它的用武之地了。”
据悉,图像与视频分析组与影谱公司合作,建立了基于视频的广告关联营销平台,即通过多通道协同提升的级联目标检测方法实现视频中感兴趣的目标和商品的精确检测,并提取视频中目标所在关键帧的指纹和目标本身的视觉特征,结合影谱的在线渲染技术,实现商品的无缝植入和替换技术,达到“虚实结合”“无中生有”的广告投放。
此外,通过商品的视觉相似性计算建立与购物网站的商品关联,观众能够方便快速购买节目中感兴趣的同款商品。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12