那么,谁会真正用到大数据分析呢?
一年前,大数据技术的一些主要用户是大型Web企业,例如Facebook和雅虎,它们需要分析点击流数据。但是今天,“大数据技术已经超出了Web,是要是有大量数据需要处理的企业都有可能用到它。”例如银行、公用事业机构、情报部门等都在搭乘大数据这辆车。
实际上,一些大数据技术已经被一些拥有很前卫技术的企业在使用了,比如受社交媒体推动而需要创建相应Web服务的企业。它们对于大数据项目的贡献非常重要。
而在其他垂直行业中,有些企业正在意识到,它们基于信息服务的价值定位要比它们先前想象的要大得多,所以大数据技术很快就吸引了这些企业的注意。再加上硬件和软件成本的下降,这些企业发现它们已经处在了一场企业大转型机遇的完美风暴中。
纽约城的TRA公司是专门帮助电视广告主们评测其所投放的电视广告的效果的,它会把某个家庭通过电视与DVR(数字录像机)所接收到的广告与其在零售商店的账单相比对。该公司从有线电视公司的DVR以及一些日用品商店的会员卡计划中搜集数据,来进行这种比对。TRA的大数据系统所处理的数据量代表着170万个家庭以秒计的观看习惯——如此庞大的任务量如果没有大数据技术几乎无法完成。该公司部署了Kognitia的WX2数据库,该数据库允许它快速地装载、描述和分析数据,从DVR上收集细粒度的广告观看信息,fran后与销售点的详细数据进行比对,再生成定制报告。
“Kognitia有一个内存运行的解决方案,所以我们现有整个数据库的一半都可以放在内存里,这就是说当我们的客户需要运行一个查询时,响应时间是秒级而非小时级或日级的,”TRA的CEO Mark Lieberman说。
该数据库可以在普通硬件上运行,TRA自己的前端应用就是在.Net Visual Studio上构建的。“我们还会用到一点点MySQL,而用户界面则是用DevExpress开发的,”Lieberman说。
在他看来,大数据技术可能会给全美700亿美元的电视广告市场带来革命性的变化。传统的广告评测方法顶多只能在全国2万个样本家庭中安装特制的机顶盒来分析抽样数据。而今天,大数据技术则可以分析来自250万台DVR和机顶盒的实际数据。
Aberdeen集团的分析师Greg Belkin认为,TRA和其他一些公司所使用的大数据工具满足了大数据的速度、体量和多样性判据。“在零售业,大数据给人的印象十分深刻,因为这个行业有非常多的需要分析数据的地方,但是按照传统手段那是无法想象的,”比如社交媒体网站、DVR设备和日用品商店的会员卡数据等。“这个行业的数据室如此的庞大和复杂,利用传统的数据库手段根本不可能进行分析,所以零售商们正在转向大数据平台。”
同样的,大数据技术也给弗罗里达圣彼得斯堡的Catalina市场营销公司带来了革命性的变化。这家公司所拥有的会员客户数据库十分庞大,规模有2.5PB,其中包括了1.9亿家美国日用品商店多年来的历史销售数据。它的最大的一个数据库就有令人难以置信的4.25亿行数据,公司每天需要在这个数据库中管理大约6.25亿行数据。
通过分析这些数据,Catalina可帮助一些主要的消费品制造商和大型连锁超市预测消费者可能会购买什么商品,以及谁会对新的商品感兴趣等。
“我们是希望把技术带给数据,而不是把数据带给技术,”Catalina的执行副总裁兼CIO Eric Williams说。“一些现有的技术就可以让比如SAS公司把它们的分析技术用于数据库。这就极大地改变了它们的整个业务。我们先前也在做这些事情,但是由于技术上的严重限制,使我们无法实现我们想要实现的目标。我们只好用自己研发的一些工具,而这些工具能够实现的东西也是非常有限的。而大数据技术的出现则彻底改变了我们的整个企业。”
除了在其专有的系统中用到了一些开源软件以外,Catalina还在Netezza数据仓库设备平台上使用了SAS的分析工具。
大数据正在从根本上改变着美国银行业做业务的方式。美国银行负责大数据与分析的前执行董事Abhishek Mehta在2010年10月的Hadoop World大会上说,“我觉得今天的Hadoop很像20年前的Linux。我们所有人都看到了Linux在企业软件市场上的成功。Hadoop也将会取得同样的成功。它的成功只是个时间问题而已。”
在分析点击流数据和交易数据之外,Hadoop还可以让美国银行快速地解决各种业务问题。“作为银行来说,我能想到的就是如何消除客户的欺诈行为,”Mehta说。“现在,我可以建立一个模型,为每个客户回溯过去5年间的每一次欺诈事件。而在此之前,我们只能采取抽样的办法,建立一个模型,当发现有某个特例不适合这种模型时,还需要重新建模。这样的日子终于结束了。”
公用事业行业也在刚刚开始了解到大数据所带来的应用及其价值。美国中西部的一家电力公司利用Hadoop分析来自智能电表的数据,这些智能电表可以自动完成计费功能,但是该公司还收集输电线路上任意的电流波动信息。“如果收集到这些信息并且能够描绘出电流变化图,那么你就可以在某个地方的变压器可能出现故障之前找到它,”Olofson说。“或者当发生停电事故时,会引起电流的波动,公司就可以探测到波动之处,在用户打电话求助之前就采取行动。”
Olofson预测说,在将来的某个时候,电力公司就能利用大数据技术来改善为客户所提供的服务,并通过电网监控、问题检测和对电网进行微调等降低运营成本——但是这可能需要对某些正在老化的基础设施进行重大升级才行。
一些品牌营销公司也在利用Hadoop在社交媒体上实验所谓的“情绪分析”。这些服务提供商利用Hadoop,仔细审查客户在Twitter上的行为,看看他们对于某个特定产品究竟在说些什么和想些什么。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12