当我们谈论大数据的时候,我们谈论什么
在过去的周末,一年一度的美东华人创业狂欢 MIT-CHIEF年会在麻省理工落下帷幕,其中的几场圆桌论坛干货满满。今天为大家带来的是大数据行业的圆桌 Big Data Panel 的内容,其嘉宾囊括了大数据几个实际运用领域的从业者和专家。以下为本场圆桌内容摘录整理,有删节。
问题一:在各自的大数据运用领域,我们现在看到的数据究竟有哪些?
出门问问李媛媛:对于创业公司,因为其初创的性质,在数据采集的渠道上有其天生的短板。因此从数据的种类而言,我们只从一个垂直领域切入:地图 POI,而且目前只聚焦普通话语音数据。对于数据获取的渠道而言,我们在今年推出了一款可穿戴式硬件 Ticwatch,提供了数据的入口。除了数据获取上的挑战,由于大量用户的私人数据将会被收集,从我们开始收集分析数据伊始,就注重数据隐私的基础建设:于前端,我们会与用户积极沟通并指出我们所收据的数据种类;于后端,我们致力于提供最完善的数据加密保护。
Procyon Ventures Drew Volpe:在企业级运用时,我们看到的不单单是数据的初始种类,而更多的是加上其它层级数据之后的意义和运用。比如我之前创立的公司,同样也是运用传感器与可穿戴设备收集用户的车行数据,但是我们通过算法分析之后可以推断出用户的驾驶能力和安全指数,从而为保险公司提供了计算保金的基础。这也同时回到刚才提到的数据保密问题,我认为现在大数据面临的挑战之一就是建立一个有效的数据保密评定系统和基础设施。因为现在越来越多的工具可以将表面看上去简单或者非敏感数据在一定得分析之后推导出隐私数据,比如地图数据,表面看上去无害,但是当我追踪了你过去三年每天的出行记录之后,我可以轻松得知道你的家庭、公司住址,消费习惯,甚至是去医院的次数等,因此我认为大数据从业人员有义务和责任捍卫好海量数据的私密性和安全性。
问题二:在获取数据方面有哪些挑战?
波士顿市政府 Kelly Jin:在波士顿,我们看到的数据种类主要基于市民与政府各部门的 “触点”:比如你的交通罚单、税单、出入政府机关部门的人流数据、公立学校的各种纪录等;大数据在公共领域运用的很大难题,特别对于政府机关内部的数据团队而言,为数据的质量和采集。这个问题首先来自于政府部门的自身的传统运行模式,许多部门仍然采用非电子化文档管理,或者并不擅于建立电子档案,于是作为政府内部的数据科学家,我们做的首要工作是引导,并转化这些传统纸质数据变为电子实时数据,并在分析前进行大量的清理和管理。同时政府内部的数据虽然有十分巨大的潜力,但分析能力仍然有限,所以我也鼓励创业团队与我们合作,共同研究开发公共数据的实际运用。
亿可能源宁可 & Target 50 Matt Conway:我们看到的更多的是间歇数据(interval data),我们依赖不同的传感器和智能电表为我们提供 5-15 分钟间隔的能耗数据。如此海量的数据,由于不同的电表/传感器公司的生产标准不同, 储存数据的格式也大相径庭,于是我们在分析数据时往往不能采用标准化的算法进行数据处理。更糟糕的情况是,当我们和电力公司合作时,由于现在市场上公司间并购非常活跃,当两个电力公司合并后,数据往往无法调和,于是出现相当大的错漏问题。在能源领域,数据私密性也同样是一个大难题,很多不相关的数据往往可以推导出一些企业并不想披露的信息。比如我们曾经为一个大型审计集团的办公楼宇进行能耗分析,但是他们却不愿披露相关信息接口,原因是一旦我们拿到相关每 5 分钟的照明数据,我们可以清楚得看到公司不同部门在税务忙季的加班情况和与去年的对比,以此推断企业的业绩等。
问题三:如何具体在大数据中挖掘商业价值,并分享一些你们现在正在运用的比较创新的开发模式
波士顿市政府 Kelly Jin:我们现在看到政府内部大数据运用最大的价值来自于对效率的大幅提升。举最近的一个例子,税收部门每年需要重点抽查和核定一定房屋和社区的房产税。现在的做法是,审计部门翻阅大量的报告,比如该家庭是否今年买了新房,是否翻修超过一定金额等,然后筛查出终点家庭,再进行核查和重新评定。作为政府内部的数据服务部门,我们将这些传统的筛查标准转化为运算法则,将整个人工密集的预筛工作从原来的 2 星期,10 人工作量,缩减到 7 分钟的自动操作,大大释放了政府职能部门的效率,让他们可以专注于真正应该专注的工作领域。
Procyon Ventures Drew Volpe:我想要分享的是一个系统方法论。我觉得真正挖掘出价值的大数据企业都是从问题出发,而非数据本身出发。
第一步,判定你要解决或者是你针对客户需要解决的问题。在刚才的政府例子中,我们看到这个问题很明显,就是解决政府效率的问题,让一些重复的工作自动化。
第二步,观察你手上握有的数据,是否足够解决你定义的问题。如果不够,是否可以运用已有数据直接推导,如果不行,定义你额外需要的数据种类。
第三步,定义了额外需要的种类之后,才是确定如何采集这些现在并没有的数据, 如果采集不到,是否有其它的方式可以获得。
问题四:大数据类型的初创企业往往有一个”Cold Start” 问题,即,用户数量太小导致数据不够,而用户数据越是不够越是无法优化机器学习和算法,这个问题如何解决?
Procyon Ventures Drew Volpe:
我从自身创业经历说一下好了,我之前创立的公司 locately 是一家基于位置数据的大数据信息服务公司。创业的一开始其实就是 bootstrap,有点草船借箭的意思。我们最开始的数据都是人为手工输入的,基于 20 个种子用户的全天 24 小时原始位置数据。明显这样做并不能规模化,但是却可以让你至少有一个起点,然后我们用这些数据和算法向潜在客户和投资人证明我们可以在这个基础上挖掘的商业价值和产品功能,然后我们开始积累更多的种子用户,做更多的示范项目,以此获得更多数据。的确一开始我们的机器学习模型比较简单,但是随着数据量的增加,我们更好得迭代了算法。我觉得重点还是要放在如何展现你可以挖掘的价值,而非你的模型有多么多么完美。另外比较常见的方法就是爬虫,当你定义完你需要的数据之后,看看有哪些是可以通过爬网获取的,如果再不行,就看看哪些可以通过第三方数据订购获得。总有一些方法可以让你从 0 跑起来。
问题五:大数据未来的趋势是什么?今后的热门应用领域有哪些?
Procyon Ventures Drew Volpe:
我觉得大数据的运用前景因为硬件/传感器的成本大幅降低而被释放了更多的潜力。回顾过去十年,我们看到物联网传感器的成本以百倍速度降低,大大降低了原来因为硬件成本过高,而造成数据获取过高而无法进入的领域。除了我们现在看到的消费者数据和信息,我认为以后的大数据趋势将会集中在” 工业 4.0” – 特别是物流、基建和能源三块。在美国,物流代表了 GDP 的 9%,这是一个超百亿美元的量级;在中国,物流占 GDP 的近 1/5。以我最近投资的一个公司 WEFT 为例子,这是一家做船运物流的大数据服务提供商。以往,每件商品植入 GPS 追踪系统是非常高昂的,但是现在我们可以通过成本低廉的传感器用来捕捉实时运输数据,并综合大量外部数据,通过深度学习技术给予最精准的货品物流时间和可能的风险预判。
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16