互联网业务和技术的发展迎来了信息革命新的高潮,所带来的除了更加高效的生产和消费模式外,还带来数据的爆炸式增长。移动互联网和物联网浪潮下的数据规模与产生速度更是前所未有地加快,相应产生的数据存储、处理、分析、展示的技术与工具也层出不穷。传统企业已经具备对现有系统流程和数据比较成熟的生产和获取方式,然而如何对曾经被忽视和丢弃的数据,利用分布式、基于内存等新型技术,同时整合企业现有数据和分析结果来实现业务创新和增强,是急需解决的问题。
大数据的初始阶段,价值往往呈现出稀疏的特点,企业常常需要“沙里淘金”。在当今时代,存储海量数据的成本虽然已经降低,但从海量数据中获取价值却是昂贵的,而要及时获取价值则更加昂贵。因此,越来越多的企业选择构建大数据实时计算框架,以期从中获得实时的数据洞见,“快数据”的概念也因此应运而生。
什么是快数据?
大数据的概念本身比较抽象,一个比较有代表性的是 4V 定义,即认为大数据需满足4个特点:规模性(Volume)、多样性(Variety)、高速性(Velocity) 和价值性 (Value)。而快数据则是为了实现高速性(Velocity)而产生的。“快”来自一些众所周知的法则:时间就是金钱,数据的价值也具有时效性,数据的价值随着时间折旧越快。下表给出了不同业务处理数据快慢的比较。
从数据分析的技术实现视角分析,目前的大数据处理可以分为如下三个类型:
复杂的批量数据处理(batch processing),常见的实现框架如Hadoop/Mapreduce,数据处理的时间跨度在数十分钟到数小时之间。
增强的历史数据的交互式查询(inter-active query),常见的实现框架如Dremel/Impala,数据处理的时间跨度在数十秒到数分钟之间。
基于实时事件数据流的数据处理(event streaming processing),常见的实现框架如Oracle CEP、Strom。数据处理的时间跨度在数百毫秒到数秒之间。
以上的三种方式,最符合快数据定义的是第三种。基于实时事件数据流的数据处理不光是能够提供更快的数据处理效率,而是采用了一种完全不同于离线批处理的模式。这两种处理模式,批处理(Batch Processing)是先存储后处理(Store-then-process),而流处理则是直接处理(Straight-through processing)。这两种处理模式相辅相成,在企业构建大数据处理框架时都非常重要。一些成熟的企业在处理数据时,会把数据处理服务分成几层。一方面是重要程度,一方面是处理时效要求,比如“快数据紧急”、“快数据不紧急”和“慢数据重要”等。快数据从本质上意味着数据处理接近实时决策的能力,改善业务决策所花费的时间,流处理模式则给系统业务创新带来了更多的想象空间和创新空间。
快数据有怎样的应用场景?
人类社会的数据产生方式大致经历了3个阶段,正是数据产生方式的巨大变化才最终导致大数据的产生:
1、运营式系统阶段。数据的产生大都为运营系统产生,数据也大都是运营相关的数据。这种数据的产生特点是被动的。
2、用户创造内容阶段。互联网的发展尤其是电子商务和Web2.0的发展带来数据新的爆发阶段。互联网电子商务的发展产生了大量的用户行为数据,这完全不同于被动式运营系统所产生的数据。Web2.0的最重要标志就是用户原创内容(UGC, User Generated Content)。这个阶段数据的产生特点是主动的。
3、感知式系统阶段。今天我们正处于这个阶段的起点。这个阶段产生的核心原因在于移动互联网和物联网的发展兴起。随着技术的发展, 智能手机、可穿戴设备以及微小的带有处理功能的传感器日益成熟,各种原来“死”的设备,现在都能自动生成、采集数据,就连我们人类,也因为携带智能设备,每一次位置变化和设备使用都会产生大量可用于分析的数据。这种数据的产生特点是自动的。
简单来说,数据产生历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源。
快数据可以在下面四大领域帮助企业客户:
•帮助企业提升客户体验。传统的被动型系统会丢弃很多与业务存储以及统计分析无关的数据。而快数据能够有机的和传统数据以及Hadoop类型大数据进行有机的结合,帮助企业更好的建立全视角用户视图,开发出用户驱动型的产品,提供客户导向型的服务。快数据弥补了原来用单一数据库和Hadoop平台构建全视角用户视图的制肘之处。
•帮助企业优化运营。传统企业IT运营往往缺乏把握在线营销时机的能力。在客户行为事件发生的恰当时机,以最了解客户的形式展开营销。同时,在社交媒体追踪对地点、用户和产品的提及信息,分析产品、用户、品牌之间的关联,从而优化其内部产品与服务提供的准确性,进行跟有针对性的线上和线下(O2O)产品推荐是传统企业最重要的运营能力创新
•帮助企业优化资源。通过智能设备的数据采集技术,可以实现企业对所需资源的精准优化,优化资源使用效率。在企业在运营过程中,用户产品所需要的每一种资源的具体使用情况和分布等,企业都可以进行搜集分析,就如同“电子驾驶舱”一般,实现“点对点”的数据化、图像化展现。快数据让企业的管理者管理优化企业资源的方式从“T+1”进化到“T+0”,可以更直观高效地管理自己的企业。
•帮助企业拓展服务。快数据让企业将自己的服务时机与地点拓展到客户生命周期的每一个要点。企业还可以借助社交媒体中公开的海量数据,通过快数据趋势分析舆情侦听技术、分析数据内容之间的关联度等,进而面向社会化用户开展精细化服务。
如何分辨企业是否需要“快数据”?
随着大数据已经成为IT业界炙手可热的话题,所有企业都希望尽早部署自己的大数据战略,也希望通过“快数据”获取实时数据分析能力。然而,如何分辨企业是真的需要“快数据”还是仅需要狭义的大数据解决方案?这里甲骨文提出快数据项目三问帮企业做出正确决策:
•数据分析的结果如何反作用于应用系统?
•数据是连续不断的而且有顺序、窗口、时机等要素,是来源众多的且有不同格式,数据量大但不关心存储吗?
•是否考虑三个第一:能否在第一时间,客户的第一接触点上,作出第一反应?
如果企业可以正确认识以上问题并根据自身实际情况给出肯定的答案,那么“快数据”是企业的一个良好选择。常见的快数据处理场景包括事件驱动营销与推荐,基于位置的服务,交互式营销,客户维系挽留,风险预测与评估,性能管理,媒体侦听与响应,智能设备采集分析,金融量化交易与风险管理。
甲骨文认为,为了得到全面、透彻、完善的市场洞察,大数据应完全覆盖传统数据、非结构化数据、流式数据和快数据,共同为企业构建全数据视图,提供全面的信息支撑。因此,“快数据”始终是甲骨文大数据解决方案中重要的一环,也是未来的一大关键方向。(本文来自:CDA数据分析师培训官网)
甲骨文具备完整的数据“流程”方案:从Oracle大数据一体机、Oracle大数据连接器、Exadata数据库云服务器、Exalytics商务智能云服务器,再到Oracle Endeca Information Discovery、Oracle实时决策、Oracle事件处理、R语言,尤其是强大的Oracle数据库与中间件,构成了大数据从捕获、存储、计算、处理、分析、发现、展现等全生命流程处理,能够帮助企业有效应对数据海洋,获得分析洞见。
数据分析咨询请扫描二维码
需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20