大数据 分析工具大汇总_数据分析师考试
大数据分析Storm:Apache Storm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过程,为Hadoop批处理提供实时数据处理。
Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于HadoopMapReduce更快。Spark适合机器学习以及交互式数据查询工作,包含Scala、Python和JavaAPI,这更有利于开发人员使用。
Twitter流处理工具Summingbird:与Storm和Scalding相似,开发者可以使用非常接近原生的Scala或者Java在Summingbird上执行MapReduce作业。
AWSKinesis:AmazonKinesis是一种实时数据流处理管理服务。它可以收集和处理来自不同数据源的数据,允许开发者编写可处理实时信息的应用程序,来源网站click-streams、营销和财务信息、制造工具和社交媒体,和操作日志和计量数据。
DataTorrent:DataTorrent是实时流媒体平台,可使企业执行数据处理或转换结构化与非结构化数据、实时数据流到数据中心。该产品主要利用Hadoop2.0和YARN技术。
SpringXD:通过任意数量的处理器,SpringXD架构支持事件驱动的数据流摄入。流是由Spring集成适配器支持。
SQLStream:SQLStream为流媒体分析、可视化和机器数据持续集成提供了一个分布式流处理平台。大数据(Hadoop)即服务ElasticMapReduce:AmazonElasticMapReduce(亚马逊EMR)是一个web服务,提供大量数据处理。通过一个大小可调整的AmazonEC2实例集群,EMR使用Hadoop来分配并处理数据。
Qubole:Qubote的大数据服务提供Hadoop集群内置数据连接器和大数据项目图形编辑器。
Mortar:Mortar是一个通用的大规模科学数据平台。它建立在AmazonWeb服务云,使用弹性MapReduce(EMR)启动Hadoop集群并处理大型数据集。Mortar可运行ApachePig,这是一个构建在Hadoop上的数据流语言。此外,Mortar还可运行Hadoop]、Pig、Java、Python和Luigi等,让用户专注于研究科学数据,无需担心IT基础设施。
Rackspace:RackspaceHadoop集群可运行HadoopRackspace托管专用服务器,自旋向上Hadoop公共云,或配置自己的私有云。
Joyent:JoyentHadoop是一个基于ApacheHadoop项目大数据托管环境云的解决方案。提供数据存储服务获取、分析和访问任何数据格式、数据管理服务以处理、监控和运行Hadoop及数据平台服务安全、存档和规模一致的可用性。
Google:Hadoop在谷歌的云平台上使用开源的ApacheHadoop谷歌计算引擎的虚拟机。SQL-in-Hadoop解决方案ApacheHive:ApacheHive优化了大型数据集分布式存储的查询和管理过程。Mapreduce开发者也可以插入自定义映射器和还原剂。
Impala:Cloudera的Impala是一个开源的大规模并行处理(MPP)SQL查询引擎,运行在ApacheHadoop。用户可直接查询存储在HDFS和ApacheHBase的数据,无需进行数据迁移或转换。
Shark:Shark是一种与ApacheHive兼容的Spark数据仓库系统。Shark支持Hive查询语言、metastore、序列化格式和用户自定义函数。
SparkSQL:SparkSQL的前身是shark。在hadoop发展过程中,为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,hive应运而生,是当时唯一运行在hadoop上的SQL-on-Hadoop工具。但是,MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O,降低的运行效率,为了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具开始产生。
ApacheDrill:ApacheDrill目前是Apache的一个孵化项目。提供了不同数据源特别的查询,包括嵌套数据。受GoogleDremel的启发,Drill是专为大型数据集提供可扩展性和查询的能力。该项目是由MapR写成。
ApacheTajo:ApacheTajo是ApacheHadoop大数据相关的分布式数据仓库系统。Tajo专为低延迟、可扩展的即时查询、在线聚合及ETL(提取-转换-装载过程)在大型数据集存储在HDFS(Hadoop分布式文件系统)和其他数据源。
Presto:Presto框架转眼间从Facebook框架是一个Presto是Facebook开发的开源分布式SQL查询引擎,支持对任意级大小的数据源进行快速地交互分析。
Phoenix:Phoenix是一款开源的ApacheHBaseSQL查询引擎,由JDBC驱动程序,可使用SQL查询和管理HBase表。此项目已提交成为Apache孵化器项目。
Pivotal’sHAWQ:作为Pivotal大数据集的一部分,HAWQ是一个MPPSQL处理引擎。HAWQ实际上就是一个大规模并行处理工程或MPP,数据库运行在Hadoop中,位于HDFS的顶部。作为一个单一的系统,它将一整套聚合基础设施嵌入系统,那套聚合基础设施可以运行和提供Hadoop和HDFS必须提供的所有功能以及你能从MPP数据库中获得的规模、性能和可查询功能。大数据Lambda架构Lambda系统架构(LA)提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台,以提供一个实时的数据视图。Lambda架构框架主要包括:
Twitter’sSummingbird:Twitter的开源Summingbird大数据分析工具,通过整合批处理与流处理来减少它们之间的转换开销。区别于以往的更快、更准确节奏,Summingbird更注重于流处理与批处理的无缝整合,以及编程语言的原生化。
Summingbird是一个大规模数据处理系统,支持开发者以批处理模式(基于Hadoop/MapReduce)或流处理模式(基于Storm)或混合模式(即组合前两种模式)以统一的方式执行代码。
Lambdoop:Lambdoop是一个Java框架,用于以与Lambda架构一致的方式开发大数据应用。Lambda架构的特色是有一个不可修改、只能追加数据的主数据库,并组合了批处理、服务和加速等不同的层。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20