Hadoop及其构成

2017-05-24

Hadoop及其构成 玩计算机需要先装一个windows系统（或linux系统）。同样道理，玩大数据也要有个大数据系统，用于将数据汇聚起来，加以分析和处理，将其中有价值的信息分析出来，让人们认清事物的全局、预测未来 ...

Hadoop环境中管理大数据存储八大技巧

2017-05-24

Hadoop环境中管理大数据存储八大技巧 在现如今，随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。 ...

Hadoop集群搭建

2017-05-21

Hadoop集群搭建 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决 ...

Hadoop面试中6个常见的问题及答案

2017-05-21

Hadoop面试中6个常见的问题及答案 准备好面试了吗？呀，需要Hadoop的知识！！？不要慌！这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是Hadoop？ Hadoop是一个开源软件框架，用于存储大量数 ...

如何让Hadoop结合R语言做统计和大数据分析

2016-10-07

如何让Hadoop结合R语言做统计和大数据分析 R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长 ...

大数据时代为什么都在谈Hadoop?

2016-06-30

大数据时代为什么都在谈Hadoop? 最近知乎上有这样一个问题“为什么很多公司都采用Hadoop方案处理大数据业务”，引来很多回答，笔者整理如下，其观点或有时而可商，欢迎讨论。 先说一说什么样的公司比较倾向 ...

使用Hadoop处理大数据，你需要了解它的优点和缺点

2016-06-23

使用Hadoop处理大数据，你需要了解它的优点和缺点 由于从各光伏电站采集的数据量较大，必须解决海量数据的查询、分析的问题。目前主要考虑两种方式： 1. Hadoop大数据技术； 2. Oracle（数据仓库）+BI； ...

实现R与Hadoop联合作业的三种方法

2016-06-07

实现R与Hadoop联合作业的三种方法 为了满足用R语言处理pb量级数据的需求，我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。 方法一：利用Streaming APIs Hadoop支持一 ...

O2O需要的不是Hadoop 而是大数据

2016-05-25

O2O需要的不是Hadoop 而是大数据 如题，但希望网友不要误解，这里的需要是指大数据技术在目前的发展进程中，是不会阻碍到O2O的应用，而对于O2O来说，最难的莫过于数据的来源。这想必也是众多掘金电商、O2O的厂 ...

Hadoop技术全解析 深度挖掘大数据背后的秘密

2016-04-10

Hadoop技术全解析 深度挖掘大数据背后的秘密 大数据最近火热程度上升，而与之相关联的概念Hadoop也在被网友讨论？Hadoop到底是什么，它的技术基础是什么，主要用来干什么了呢？下面我们将详细探讨。 ...

Hadoop在大数据处理时的优劣势分析

2016-04-09

Hadoop在大数据处理时的优劣势分析 在近两年，大数据分析似乎很受欢迎，但即使如此，仍有不少企业发现，现有的数据挖掘和分析技术还是不能完美胜任大数据的处理任务。 而对于这个问题，一个可能的解决方案就 ...

中国Hadoop峰会_CDA专场论坛回顾！

2021-08-05

3月18日至3月19日，中国Hadoop大数据峰会在北京盛大开幕。CDA数据分析师深度参与此次峰会，为各位参与者带来了丰富干货分享，话不多说，回顾下现场氛围（文末有有PPT资料可下载） 在此次峰会的大数据行业应用分 ...

Hadoop数据操作系统YARN全解析其它

2016-03-08

Hadoop数据操作系统YARN全解析其它 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许多个应用程 ...

2分钟读懂Hadoop和Spark的异同

2016-03-06

2分钟读懂Hadoop和Spark的异同 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么 ...

Hadoop之父Doug Cutting眼中大数据技术的未来

2016-02-20

Hadoop之父Doug Cutting眼中大数据技术的未来 2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学，早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父？Hadoop的发展 ...

数据仓库之门向Hadoop开启

2015-12-27

数据仓库之门向Hadoop开启 在大数据时代，Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时，也带来了新的挑战。随着Hadoop生态系统的不断发展壮大，企业需要对快速更新换代的技术做 ...

Hadoop数据倾斜产生的原因是什么？如何进行处理？

2020-07-20

大数据处理时我们经常会遇到数据倾斜的问题，尤其是在数据量过大时，数据倾斜可能会导致各种各样的问题。Hadoop数据倾斜主要表现为：ruduce阶段卡在99.99%，而且是一直99.99%不能结束。 具体来说就是：mapreduc ...

Hadoop是什么意思，有哪些作用？

2020-07-07

Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，对那种对几个记录随机读写的在线事务处 ...

从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？

2020-06-24

导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么ClickHouse好在哪呢?本文带你做一个 ...

Hadoop：伪分布模式环境变量的配置

2020-06-05

单节点集群模式（a Single Node Cluster）又称伪分布模式，只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。 1、环境变量配置 为了方便的执行Hadoop ...