大数据“算命”消除天灾人祸_数据分析师
身处这个大时代,大数据还能干什么?一些应用,或许你有所不知。
从位于上海交大电子信息与电气工程学院的大数据工程技术研究中心,到位于中山北一路“803大院”的上海市刑事科学技术研究院,科学家和工程师们都在思考:如何利用大数据“算命”,尽量消除天灾人祸。
密集风险预警,智能疏导客流
未来一天傍晚,某商圈车水马龙、人潮涌动。
“滴滴滴……”商圈管理办公室的警铃瞬时响起,发出人流密集风险预警!同时,显示屏跳出预警信息,通过分析周边人流分布状况,获得应急疏散预案也随即给出。值班人员小张立即拿起对讲机通知安保部:“百货门前天桥人流过度集中,请迅速启动二级疏导预案,引导客流往1号、3号大门疏散,同时关闭2号大门。”说话之间,相关数据信息已第一时间传输至全市预警系统平台。
大数据工程技术研究中心主任、上海交大特聘教授邱才明向记者描述了这样的大数据应用场景。原来,这次预警是由“人流密集风险预警系统”发出的。通过商圈安装的图像智能识别系统,这套预警系统就能实时采集人流信息,随即对这些数据进行分析处理。
邱才明介绍,基于随机矩阵理论的大数据分析方法可进行建模,数据模型可判断出实时人流状态,并可同时预测未来5至10分钟该区域内人群密度的变化趋势,第一时间提供相关部门决策支持。一旦人流密集度超出预警标准,系统将立即发出报警,并根据事态成因、人群行为分析和周边通道状况建立应急疏散模型,从中优化选择最佳方案,供指挥中心发出客流疏导指令。
参考人流密集风险预警系统的智能建议,管理者、决策者可根据预警等级,判断引起人流变化的原因,可能是某商圈活动引起人流聚集,也可能是车辆停运,甚至是人员伤害、恐怖袭击等。因此,管理人员就能因势利导,采取疏导、限流甚至警力干预等措施,避免人流过度聚集,排除安全隐患,为民众安全出行保驾护航。
邱才明教授认为,在未来,随着移动终端、位置服务(LBS)和车联网应用的日益普及,地理数据、轨迹数据和各种基于位置的搜索记录等,将共同构成位置大数据。这不仅仅是信息,还将成为重要的战略资源,应用大数据技术将提供很多社会和城市运行的规律及趋势,为优化政府规划、防灾和应急响应提供智慧支撑。
有了千里眼,还需神算手
2013年4月20日,四川省雅安市芦山县发生7.0级地震。又是四川,又是大震?突如其来的天灾牵动全国人民的心,许多民间志愿者自发组织前往震区救灾。一时间,赶赴灾区的绿色通道,挤满了大大小小的救援队伍,造成了严重堵塞,甚至发生了救援志愿者遭遇坠石事故丧生的悲剧。
在肯定民间抢险救灾热情的同时,人们也开始进行“理性救灾”反思。抢险救灾不能仅仅依靠一腔热情,更需要以科学的技术与方法作为指导。上海交大电信学院大数据工程技术研究中心副主任金之俭认为,通过大数据理论建立海量遥感数据获取、储存与分析体系,将为“理性救灾”指明道路,也就是说,在地震发生后的第一时间,依靠卫星或航空遥感技术,远程获取震区现场数据,评估和预测灾区受损情况,明确物资需求,规划救援道路,有助于制定合理的救援计划,最大程度减小灾害影响。
有了千里眼、顺风耳,还需神算手。灾害监测是遥感技术的一个重要应用方向,对于自然灾害频发的国家和地区而言尤其具有价值。我国近年来遭遇了多次地震灾害,与震前预测相比,灾后震区的遥感数据监测,更可充分测算解析大数据海量、异构、多源的外部特征,以及多维度、多尺度、非稳定的内部特征,通过对地表、环境、地震本身数据的充分测算解析,使灾害造成的危难细节、对地面道路的损害程度、救援资源的调度分配等实时分析能力获得提升,这对于减少灾难损失、提高救援效率、支持灾后重建具有极其重要的作用。
除了地震灾害监测,大数据遥感还可应用到洋流监测、气候预警等多个领域。以洋流监测为例,地球上有辽阔的海洋,其面积是地球上陆地面积的2.5倍,不过人类对海洋的认识还非常局限。事实上,海洋是人类环境、气候的起源地,只有对海洋进行监控,才能获得更好的气象预报、环境预测等效能。
金之俭介绍,目前科学家们正试图将传感器,如温度、盐度、热惯量等传感器,广泛布置于海洋中。这些传感器产生的数据量非常庞大,并且很多数据无法实时传到数据中心。假如在每个足球场这么大的海洋面积放置1个传感器,全球海洋分布的传感器总量将达520亿只,其所含信息和维度都非常之大。通过高维大数据计算方法,才能对这些数据进行处理,从而有助于对厄尔尼诺现象会否发生、粮食产区气候是否恶化等情况进行预警。
解读DNA大数据,滴血画像
在保护生命和财产安全方面,大数据还有大作为。一滴血验DNA,已不是什么神奇;如今,法医只要7个完整的人体细胞,就能检出DNA。
在市公安局刑事科学技术研究管理中心,生物物证室副主任平原介绍,由于 DNA 物证检验能力快速提升,目前每年沪上与DNA检测相关的案件达到1万多起,其中包含了3.4万个现场样本,小到果壳、大到树木。基于这种 DNA大数据,可快速比对嫌疑人的DNA,排除嫌疑或锁定嫌犯,依法保障公民安全。
而上海产业技术研究院生物医学部主任李亦学研究员表示,在生物信息学领域,现有计算能力与急剧上升的生物数据量之间,存在极大差距。以人体为例,常被采用的基因就达2.2万种,还有30万种相关蛋白。可以说,人类的计算能力按照摩尔定律每18个月翻一番,而存储能力大约每14个月翻一番,但大数据的产量则是5个月就会翻一番。
当然,下一代基因测序技术正在不断追赶生物数据的大爆炸。比如最先进的“HiSeq X”基因测序系统,由10台“HiSeq X”测序仪组成,采用“测序工厂”模式定位,适合运行于大型化的基因组中心,为各类生命科学和生物医学研究提供海量、高效的测序服务。据称,这样的测序机器每次运行需要3天时间,即可产出高达1.8T的有价值数据,数据产出效率是现有主流测序仪“HiSeq 2000”的12倍。这样算来,整套系统每年可完成1.8万人的全基因组测序,尽管这对于整个人类的生命大数据来说还是杯水车薪,即使对于有特定需求的测序人员而言,也是供不应求的。
在平原、李亦学等专家看来,随着 DNA大数据科学的发展,一滴血将不仅能测定“谁是谁”,也能鉴定出“他来自哪里”,甚至还能根据个体基因判断分析表型特征,比如眼皮、鼻孔、耳垂、肤色等,从而自动为他画出一幅头像来。
数据分析咨询请扫描二维码
数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21