Gartner:大数据和BI商业智能的差别和影响
之所以要区分大数据应用与BI(商业智能),是因为大数据应用与BI、数据挖掘等,并没有一个相对完整的认知。
BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
伴随着BI的发展,是ETL,数据集成平台等概念的提出。ETL,Extraction Transformation Loading,数据提取、转换和加载,数据集成平台主要功能对各种业务数据进行抽取和相关转化,以此来满足BI、数据仓库对数据格式和内容挖掘的要求。
数据集成平台的基础工作与ETL有很大的相似性,其主要功能是实现不同系统不同格式数据地抽取,并且按照目标需求转化成为相应的格式。数据集成开始是点对点的,慢慢地发现这种模式对于系统之间,不同所有权的企业数据流向以及数据标准控制很难,为此,诞生了对统一企业数据平台的需求,来实现企业级之间的数据交互。
数据集成平台就像网络中Hub,可以连接所有应用系统,实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生,现在已经跨越了最初的需求,上升到了一个更高的阶段。
如今大数据应用更多关注非结构化数据,更多谈论互联网,Twitter、Facebook、博客等非结构化数据,如此理解大数据应用,显然就有些走偏了。结构化数据也属于大数据,且呈现出相同的特点和特征,如数据量大,增长越来越快,对数据处理要求高等。
结构化数据是广义大数据中含金量或者价值密度最高的一部分数据,与之相比,非结构化数据含金量高但价值密度低。在Hadoop平台出现之前,没有人谈论大数据。数据应用主要是结构化数据,多采用IBM、HP等老牌厂商的小型机或服务器设备。
采用传统方法处理这些价值密度低的非结构化数据,被认为是不值得的,因为其产出实在是有限。Hadoop平台出现之后,提供了一种开放的、廉价的、基于普通商业硬件的平台,其核心是分布式大规模并行处理,从而为非结构化数据处理创造条件。
大数据应用的数据来源应该包括结构化数据,如各种数据库、各种结构化文件、消息队列和应用系统数据等,其次才是非结构化数据,又可以进一步细分为两部分,一是社交媒体,如Twitter、Facebook、博客等产生的数据,包括用户点击的习惯/特点,发表的评论,评论的特点,网民之间的关系等,这些都构成了大数据来源。另外一部分数据,也是数据量比较大的数据,就是机器设备以及传感器所产生的数据。以电信行业为例,CDR、呼叫记录,这些数据都属于原始传感器数据,主要来自路由器或者基站。此外,手机的置传感器,各种手持设备、门禁系统,摄像头、ATM机等,其数据量也非常巨大。
对于分析大数据的工具,目前所有的分析工具都侧重于结构化分析,例如针对社交媒体评论方向的分析,根据特定的词频或者语义,通过统计正面/负面评论的比例,来确定评论性质。如果有一个应用系统是接收结构化数据的,例如一个分析系统,接收这些语义就可以便于分析。
让大数据应用落地,其中的关键在于与行业应用的深度融合。
公安行业的视频影像处理是一个特定应用领域,传统BI、ETL工具拿这些数据没有办法,采用分布式Hadoop进行处理能够带来很好的效益,因为Hadoop可以处理数据量足够大。公安行业实际上已采集了大量视频影像数据,利用这些数据,可以追踪一个嫌疑犯的行踪,什么时间在全国哪些地区出现过。这些应用不可能单纯依靠人的力量,需要借助人脸识别、图像识别技术、模式处理,数据压缩等技术,需要海量处理软件,抓出相关特征,帮助公安人员提高工作效率。
在电信行业,计费系统实际上是对各种数据进行整合后的结果,是一个缩小的数据。借助大数据应用,运营商可以原始大数据进行分析,例如分析传感器数据是否有异常,从而判断设备异常等,这些都是一些用传统BI工具无法实现的分析,其结果往往会出乎意料,帮助运营商提高服务水平以及用户的满意度。
在互联网行业,通过分析手机上网轨迹,可以分析了解客户群,了解用户的偏好,此外,获取地理位置的信息,也具有特定价值。
从这些行业大数据应用分析来看,一个是视频影像处理,一个是日志分析,另外一个是处理特定文件格式的分析处理,彼此之间显然没有任何通用性的特点,其共同点就是利用了廉价的大数据处理平台。
Gartner:大数据宣传在商务智能市场成效不明显
市场研究公司Gartner指出,去年的大数据宣传未能促进全球商务智能和分析市场出现快速增长。
Gartner称,尽管商务智能和分析市场在2013年增长了8%,增长至144亿美元,但是涨幅低于预期。大数据通常指对来自社交网络、传感器等来源的海量非结构化信息进行的挖掘与分析,而传统的商务智能只是报告和分析结构化数据存储。
Gartner 分析师Dan Sommer和Bhavish Sood在报告写道: “虽然大数据宣传力度在2013年达到了高潮,但是对分析市场的影响却不是很大。”报告称,在Gartner调研的机构中,仅8%的机构实际部署了大数据项目,57%的机构仍处于调研和规划阶段。这一水平已经影响到了大量企业的创新周期。
大数据巨头在2013年的营利与增长速度之间出现了脱节。SAP、甲骨文、IBM和赛仕研究所等四大商务智能公司的增长率严重低于市场平均增长率。这些厂商面临的核心挑战是他们的成熟程度。“他们的核心解决方案一直是IT主导的企业商务智能平台,并通过语义层将信息与报告、查询与在线分析处理等功能连接在一起。尽管价值昂贵,但是大多数机构部署的均为这种类型的商务智能解决方案。”
为此类工具提升了低成本备选方案的Jaspersoft和Pentaho等公司在去年获得了快速增长,其增长率高于市场平均增长率。Gartner的报告指出,Tibco Spotfire和Tableau等公司在2013年推出的数据发现工具对于商务智能终端用户体验来说可以说是一种全新的标准。这些工具让用户对数据集有了更多的视觉感受。
分析师指出,大型商务智能厂商去年一直在不遗余力的开发自己的数据发现产品。这一举措将整个市场的竞争推出到了一个更激烈的阶段。基于云的商务智能在去年开始受到关注。尽管其仅占有4%的市场份额,但是其增长率达到了42%。“尤其是小型公司已经开始向云迁移,并将其视为一种可以处于有关大数据和分析等事务的使能器。”
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21