在2016世界移动通信大会上,一项神秘的研究成果引起国际业界的关注。在此之前,业界很难想象利用移动互联网用户的后台数据,可以预测人类的行动规律。
而这项研究的始创者是一位只有32岁的小伙子——国防科技大学信息系统与管理学院讲师吕欣。
让信息告诉我们人在哪
“人类的行为有一定规律性,可以被预测出来。”吕欣提起他的研究非常兴奋,“在一些重大突发事件中,预测人类的行动规律可以帮助我们定位人群,打通救援的第一道关口。”
2010年2月,正在德国参加欧洲物理学会议的博士生吕欣接到来自海地的电话。找他的是瑞典卡罗林斯卡学院的同学、一位医学博士,当时正在海地参加震后救援。这场地震造成22万人死亡,超过60万人短时间内逃到其他地区。由于当地社会管理落后,国际救援组织难以获知灾民去向并组织灾后救援行动。
“能否运用你在数据挖掘上的能力帮助我们找到他们?”这位同学告诉吕欣,当地主要手机运营商可以向救援组织提供300万用户地震前后约10亿条手机定位数据。
从数以亿计的手机信息中找出难民去向,显然不是易事。“当时,学术界一般认为自然灾害中人群移动行为是高度不确定的,试图从浩如烟海的数据中发现震后人群的移动规律,的确是一次不可思议的探索。”吕欣说,他与国外学者展开合作攻关,通过多次数据整理、分析得出结论,难民通常会选择去以往社会关系较为密切的地方,如亲戚朋友家、以前常去的公园等。事实证明,即便是在严重灾害发生后,人类的行为也并不是慌乱而不可预测的,相反却是非常理性并有迹可循的。
“分析采集大量历史数据可以预测人类的行为规律。”吕欣为这项发现欢欣鼓舞。最终,他的研究成果成功描述了地震前后海地灾区难民的人口流动信息,从而为国际援助组织和管理决策者提供了极为有效的决策支持。
以海地灾后手机数据分析为起点,吕欣及其合作者积极参与了2013年孟加拉国台风救灾、2014年西非埃博拉病毒防控、2015年尼泊尔大地震救灾等重大灾害救援与管理,生成的报告得到了当地政府和联合国相关组织的高度重视,被联合国人口基金会、联合国人道事务办公室等采用。
网络抽样可以更优化
2006年,吕欣以四川大学管理科学专业第二名的成绩被保送至国防科大信息系统与管理学院,师从管理学著名专家谭跃进教授,主要开展复杂网络方面的研究。复杂网络,就是在庞大复杂的网络环境中找到维系网络关系的核心节点。
2009年,吕欣赴瑞典卡罗林斯卡学院攻读博士学位,并在斯德哥尔摩大学社会学系担任助理研究员。经过缜密考虑,他转向研究网络数据挖掘与分析技术,主攻网络抽样方法。主要针对高危、特殊人群,通过他们在社交关系中的特点进行抽样分析,这对公共安全和网络安全工作来说是一项巨大的突破。
网络抽样作为比较成熟的网络数据挖掘方法,已经在相关领域得到普遍承认和广泛应用。然而,实际做好抽样不仅限于了解被抽样群体,而是要通过少数人群了解多数人群,其中涉及很专业的数学算法和计算机知识。
“因为以往做网络抽样时,很多假设条件在现实中根本不满足,就会导致推断存在误差,甚至与真实情况相去甚远。”吕欣解释说,“实际上,我做了一项改进方法,把推测更加逼近真实值的工作,大大优化了统计方法。”
短短几年时间,吕欣取得了一系列突破:在国际上首次对网络抽样方法的统计假设提出质疑,并采用在线网络数据对这项研究的偏差进行综合评估,在此基础上独立开发出一种使用中心网络数据的新方法,避免了传统方法的局限性。他还设计开发了国际上首个在线社会网络调查系统,关于Twitter在线社会网络挖掘技术的研究成果,在所有同时期的9.4万多篇论文中,其影响力位列前4%。
通过吕欣的一系列创新性改进,使用社会网络可以较容易地调查和发现以往研究人员难以接触的社会群体,如吸毒者等。并能通过有限的调查样本对总体情况进行估计,从而为公共安全、网络检测和控制等提供宝贵信息。该方法目前已在世界范围内得到广泛应用。
创新路上永无止境
将大数据分析成果应用于应急救援、社会管理,这只是吕欣科研工作中的一小部分。让大数据服务国防,为未来战争插上信息化翅膀,这是吕欣的强军梦。
“体系对抗、联合作战、信息化战争都会产生大量数据,如通信、侦查、人员、装备、指挥控制、火力对抗等等。只有全面、准确、及时地把握战场态势的发展变化,从庞大的数据中挖掘出对敌的关键节点,才能高效地组织对抗,破解战争迷雾,实现战争的精确设计。”吕欣说。
从走进国防科大的那一天开始,吕欣就高度关注网络理论的实际应用,创新地提出了战术通信网络时空演化模型、信息远距离传播算法以及网络最短路径节点合并算法,并在复杂网络抗毁性研究上做了部分工作,其战术通信网络模型的研究在我军一些部门已经得到应用。“高智慧、无人化将是未来战争的主要特点,大数据技术在完成超越传统指挥员反应能力的战场应对中大有可为。”吕欣认为。
2013年,吕欣在人类移动行为动力学及轨迹可预测性研究上取得突出成果,成功将大数据分析方法应用到重大自然灾害事件的应急管理中,开发出一套用于人群移动轨迹预测的马尔科夫模型。成果在《Nature》《PNAS》等国外高水平期刊上得以发表,成为学校首位先后两次在国际顶尖学术期刊上发表文章的学者。国外同行极力挽留他留下来工作,美国圣塔菲研究所等顶级科研机构也向他发出邀请。他都婉言拒绝,“无论何时,只要祖国需要,我就义无反顾”。回校后,他积极参与到军队相关任务攻关中,为总部决策提供了关键技术支撑。
为把研究成果服务到实际工作中,吕欣还积极参与国际公益活动。通过分析手机数据,定位人流移动,为自然灾害管理提供免费、及时、有效的决策支持。因为时差的关系,吕欣往往是在半夜收到国外合作者发来的灾区数据。为了加快研究进度、高效完成数据整理和分析,他经常连续把自己关在实验室,最终保证在12小时内完成数据分析和提交首份报告,并及时进行数据和报告的更新,为国际救援抢到了宝贵的黄金时间。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13