请问Hadoop、Spark、Storm、Flink的区别是什么？分别适用什么场景？

2023-04-07

Hadoop、Spark、Storm与Flink是四种流行的大数据处理框架。它们都可以用于处理海量数据和实现分布式计算，但在细节上有所不同。本文将对这四个框架进行比较，并探讨它们适用的不同场景。 Hadoop Hadoop是一个由Apach ...

kafka topic数据如何写入HDFS？

2023-04-04

Apache Kafka是一种分布式流处理平台，它可以将大量数据以流的形式传输和处理。Hadoop Distributed File System（HDFS）是Apache Hadoop生态系统中的一个分布式文件系统，它在大数据领域得到广泛应用。本文将探讨如 ...

Impala和Hive之间有什么关系？

2023-04-04

Impala和Hive都是在Hadoop生态系统中使用的关系型数据处理工具，它们可以让用户通过SQL查询大规模数据集，并且能够与其他Hadoop组件无缝集成。虽然它们解决了相似的问题，但它们之间的设计目标和实现方式不同，下面 ...

为什么Spark比MapReduce快？

2023-03-31

Spark和MapReduce都是大数据处理的框架，但是Spark相对于MapReduce来说，有更快的速度。这主要是因为它拥有优秀的内存管理、任务调度和数据缓存功能。 首先，Spark使用内存而不是磁盘进行计算，这使得Spark能够在内 ...

如何通俗地理解Hive的工作原理？

2023-03-23

Hive是一个基于Hadoop的数据仓库工具，可以让用户通过类SQL语言查询和分析大规模的分布式数据集。下面将介绍Hive的工作原理及其通俗易懂的解释。 首先，我们需要了解Hadoop和MapReduce的概念。Hadoop是一个开源的分 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

干货 | 你想知道的数据仓库知识，这里都有！

2020-11-19

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用于支持管理决 ...

大数据是什么？怎么学？这里有答案

2018-08-27

大数据是什么？怎么学？这里有答案 首先给大家介绍什么叫大数据，大数据最早是在2006年谷歌提出来的，百度给他的定义为巨量数据集合，辅相成在今天大数据技术随着互联网的发展，更加迅速的成长，小到个人，企业 ...

企业该如何做大数据的分析挖掘？这里有一份参考指南

2018-08-23

企业该如何做大数据的分析挖掘？这里有一份参考指南 现如今已经进入大数据时代，各种系统、应用、活动所产生的数据浩如烟海，数据不再仅仅是企业存储的信息，而是成为可以从中获取巨大商业价值的企业战略 ...

用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

从三个方向去预测大数据发展的未来趋势

2018-08-17

从三个方向去预测大数据发展的未来趋势 技术的发展，让这个世界每天都在源源不断地产生数据，随着大数据概念被提出，这个技术逐渐发展成为一个行业，并被不断看好。那么大数据行业的未来发展如何？三个方向预测 ...

基于Spark的机器学习经验

2018-07-19

基于Spark的机器学习经验 如何基于spark做机器学习 Spark发展到1.5版本，算是全平台了，实时批计算，批处理，算法库，SQL，hadoop能做的，基本他都能做，而且做的比Hadoop好。 当然，这里我要提及的是，S ...

大数据的五大神话

2018-07-14

大数据的五大神话 尽管大数据正在被广泛的讨论，目前看来，其仍然是一个很大的谜一样的神话。事实上，围绕大数据的误解似乎已经达到了神话般的境界。如下便是五大神话。    1、大数据仅仅是海量 ...

什么是大数据？如何成为大数据的技术大牛

2018-07-13

什么是大数据？如何成为大数据的技术大牛 其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制， ...

大数据市场面面观

2018-06-21

大数据市场面面观 大数据的价值已经逐渐被用户认可。作为新概念，大数据在给一些初创公司带来机遇的同时，也为大型的传统IT厂商提出了新课题，在远未饱和的市场中如何将自身的利益最大化？因此我们看到包括甲骨 ...

大数据存储平台之异构存储实践深度解读

2018-06-09

大数据存储平台之异构存储实践深度解读 经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会 ...

云计算环境中的数据挖掘存储管理设计

2018-05-01

云计算环境中的数据挖掘存储管理设计 1.引言     Hadoop提供了一个基于HDFs的简单数据库HBase，它的设计思想和数据模型都与Google开发的模型简化的大规模分布式数据库BigTabIe极为相似。HBase不 ...

大数据正在改变制造过程的三种方式

2018-04-09

大数据正在改变制造过程的三种方式 如今，从电子商务和健康护理到金融科技和体育行业，大数据的应用无处不在。官方的统计数据也反映了这一观点：到2020年，全球大数据市场规模预计将超过570亿美元。 制造业 ...

大数据项目为何失败

2018-03-19

大数据项目为何失败 在大数据方面，关于内存计算以及开源Hadoop等，宝立明也发表过很多独特的见解。在厂商的发言人当中，宝立明也是为数不多能够将技术深入浅出解释清楚的人之一。他近期在DataInformed网站上发 ...