三个应用案例—大数据挖掘潜在的威胁
大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市,改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」,缓解交通堵塞甚至降低死亡车祸的数量。在欧美,从纽约、旧金山、芝加哥到伦敦、阿姆斯特丹,各种藉由搜集大量数据、发现模式、预测未来的项目不断带领城市前进。其中有从正面改善城市风貌的,也有提前一步,遏止未来可能发生的罪行甚至惨案。今天就让我们来看看三种应用案例:
纽约地铁出现大量神秘 DNA
就算没去过纽约,也应该都听说过拥有百年历史的纽约地铁,又脏又臭又阴暗,但是纽约客以及自世界各地来的旅客又都离不开地铁,每天 550 万人搭乘,想必每一座地铁、每一层阶梯、每一列车厢,到处沾满人类陈年积淀的汗渍与污垢。不过,真实情况可能要你大吃一惊,不是没那么脏,而是比我们想象得更奇幻。
康乃尔大学 Weill 医学院的研究者们,花了 18 个月的时间执行了一项大数据项目。他们用鉴识科学常用的棉花棒,在 486 个纽约地铁站搜集目标样本,车厢门、楼梯扶手、座椅、灯杆、垃圾桶都不放过,最后总共发现 1 万 5 千多种微生物,将近一半的样本是人类未知的有机生物,27% 是活性并俱有抗药性的细菌,虽然所有细菌仅有 12% 与疾病相关,还发现了三个与腺鼠疫、炭疽相关样本,但幸而这些样本都没有活性。而与人类的基因组相匹配的只占了不到 2%。
这项研究的主要作者康乃尔医学院遗传学家 Christopher E. Mason 说:「人们望着地铁上的手扶梯时,从来不会有『这上面充满生命』的念头,但是知道这项研究之后,他们可能会开始这么想。不过我想让他们以看待热带雨林的眼光看待地铁,这里有那么多物种,但并没有影响到你的健康,简直让人敬畏和赞叹。」
关于地铁细菌的研究,不只是有趣,也不只是满足了科学家的好奇心,研究者们将把这些物种分门别类,未来就能把它们当作对照样本,确定某些疾病、甚至也可预测未来若恐怖份子把某些细菌当做生物武器攻击的物质,是否已经扩散。
洛杉矶警察的关键报告
电影《关键报告》中,主角靠着拥有预知犯罪者的系统,在罪行真正发生之前,就先把人逮捕到案。
预测性警务软件「PredPol」当然没有科幻到「人」的地步,但也有达成遏止犯罪率的效果了。该团队花了五年时间,收集过去十年的警方数据,并且运用算法分析,预测下一次可能产生犯罪情况的地点。共同创办人 Jeffrey Brantingham 指出,他们基于三个因素测定发生案件的机率:容易滋养犯罪事件的场所(比如过去对斗殴事件睁一只眼闭一只眼的酒吧)、多次受害地区(repeat victimization,比如曾被闯入的门户容易再次被闯入)、受害地区的邻近地区(曾被闯入的门户周遭区域也容易成为下次被下手的目标),计算出 10-20 个最有可能在警察下一次执勤时发生犯罪的地点。PredPol 宣称,只要警察花 5%-15% 的巡逻时间在划定的红色区域,就能只比依靠自身经验阻止更多犯罪活动。
目前全美共有将近 60 间警局使用 Predpol,每年每间警局必须支付大约 10 万 — 15 万美金的服务费。虽然公部门预算拮据,但投资 PredPol 的第一年,加州 Santa Cruz 闯空门的窃盗案就下降了 11%、抢劫案更减少了 27%。2011 年洛杉矶 Foothill 区开始使用 PredPol,四个月之后犯罪率降低了 13%,其他未未使用 PredPol 的区域微幅多出 0.4%。
洛杉矶警局 Foothill 的警官 Sean Malinowski 说,「我们一直持续使用这套软件,Foothills 也一直都是洛杉矶犯罪率下降最高的区域。我不认为两者之间毫无关联。」
伦敦打击「恶棍交易员」
交易员诈欺导致银行或个人严重损失的新闻时有所闻。过去非法交易只能透过「关键词监测(key word surveillance)」来判断交易员是否涉及渎职,但是 Market Practitioner Panel (MPP)指出,这种方式是有缺陷的。想要揭露失职的交易员,运用大数据技术会是揭露会是更长期而有效的方案。
MPP 建议英国金融机构采取「预测编码(predictive codeing)」的方式,不只能够侦测关键词,还能辨识出交易员非比寻常的行为,像是从非正式的管道如私人信箱、实时通讯、聊天论坛沟通,或者在奇怪的时间离开办公室、强制休假却搞失踪、在组织中所扮演的角色与责任等等。
大数据技术能够非常细微的观测个别交易员的活动,精确建立每位交易员的个人资料与实际操作模式,一有异常就能提前预防,而且能够大规模且实时的分析。除了交易员之外,一般个人当然也得提防。金融诈欺者愈来愈精明、愈来愈猖狂,金融业者势必得施加更大的力道,应用最新的技术,全面整合分析数据,从个人开办帐户开始,就要建立档案并针对交易监控与客户管理保持追踪,检测异常的帐户活动,从而趋吉避凶。
不过,品诚梅森(Pinsent Masons)律师事务所信息保护专家 Kathryn Wynn 提醒,机构需注意别滥用大数据破坏隐私,未审先判。
数据分析咨询请扫描二维码
技能需求 数据管理与建模 - 掌握SQL、HiveQL、Spark SQL等数据库语言,进行复杂数据查询和分析。 - 使用数据建模工具如ER/Studio ...
2024-11-27技术技能 - 编程技能 - 掌握SQL、Python、R语言等编程工具是基本要求,可用于数据提取、清洗和分析。 - 数据分析与建模技能 ...
2024-11-27财务数据分析职业展望 - 需求激增: 随着企业信息化和数字化进程的加速,财务数据产生和积累速度急剧增长,推动了财务数据分析需 ...
2024-11-27技术技能 数学与统计技能:数据分析师需要具备扎实的数学基础,包括统计学、概率论、多变量微积分和线性代数等知识,以帮助理 ...
2024-11-27选择适当的工具和软件 选择恰当的工具对于创建出色的数据分析图表至关重要。Excel提供强大的数据可视化功能,R语言的ggplot2包 ...
2024-11-27初级市场分析师在工作中面临着重要任务之一:评估竞争对手的表现。这项工作不仅有助于描绘行业竞争格局,还能帮助企业发现自身的 ...
2024-11-27基础知识的建立 要想在数据分析领域脱颖而出,首先需要打好坚实的基础。 数据分析的基础知识十分重要,其中包括统计学、概率论、 ...
2024-11-27# 要学习Python数据分析 掌握Python基础知识 - 首先需要掌握Python的基础知识,包括基本语法、数据结构(如列表、元组、字典等) ...
2024-11-27学数据分析能在什么单位工作 数据分析的就业领域概述 数据分析专业毕业生广泛应用于各行各业,包括但不限于以下单位: 政府机关 ...
2024-11-27想学数据分析需要学哪些课程 数据分析学习路径推荐 基础课程: 统计学: 统计学作为数据分析的基石,涵盖概率论、描述性统计、 ...
2024-11-27# 现在什么行业发展前景最好 **人工智能与机器学习** - 人工智能技术快速发展,广泛应用于智能家居、自动驾驶等领域。 - 具备巨 ...
2024-11-27# 未来最有前景的行业 **人工智能与机器学习** - 人工智能被认为是未来最具潜力的行业之一,其应用范围广泛,包括智能家居、医 ...
2024-11-27数据分析领域蓬勃发展,成为当今行业中备受追捧的职业之一。作为一个初入此领域的学习者,您可能会困惑于应该学习哪些课程才能打 ...
2024-11-27统计与大数据分析专业的就业前景非常广阔,随着数字化时代的到来,这一领域的专业人才需求量不断增加。以下是关于该专业就业前景 ...
2024-11-27数字经济作为全球经济的重要组成部分,正在迅速发展并深刻改变着经济结构和竞争格局。根据多项证据,数字经济的发展现状和趋势可 ...
2024-11-27数据运营是指通过收集、分析和利用大量数据,为企业决策和业务发展提供支持的工作。其核心任务包括数据的采集、整理、分析、挖掘 ...
2024-11-27数据建模是一种重要的技术,用于有效组织和记录系统数据,旨在满足特定业务需求并确保数据的准确性和一致性。这一过程通过抽象化 ...
2024-11-27《Python数据分析极简入门》 第2节 8-2 Pandas 数据重塑 - 数据堆叠 数据堆叠 df=pd.DataFrame({'专业':np.re ...
2024-11-27数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-26技术技能 - 编程能力: 数据分析师需要掌握至少一门编程语言,如Python、R或SQL。这些语言对于数据处理、建模和分析至关重要。例 ...
2024-11-26