Hadoop：伪分布模式参数配置指南

2020-06-04

Hadoop通过改变其配置文件来更改运行模式，我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。 Hadoop的配置文件是 xml 格式，每个配 ...

Hadoop：集群网络介绍，及相关文件配置指南

2020-06-05

上篇文章中我们已经将之前配置好的伪分布集群虚拟机复制出来做为master节点的虚拟机，接下来我们还需对该虚拟机做进一步的配置来达到我们的要求。对master虚拟机的配置将从网络、hostname、更改Hadoop相关配置等几 ...

Hadoop：分布式集群HDFS 、YARN等初次启动！

2020-06-03

上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成，接下来我们启动Hadoop分布式集群。 1、ssh免密登录 首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机 ...

Hadoop：伪分布模式启动步骤分解及HDFS基本操作

2020-06-03

1、格式化HDFS 在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入 hdfs namenode -format          # 格式化hdfs 若出现successfully formatted字 ...

大数据：Hadoop多节点集群搭建指南

2020-06-04

1、多节点集群架构设计 后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。 master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、 ...

Hadoop相关：学习工具JDK，在线安装指南

2020-06-01

hadoop是使用Java语言开发的并且Hadoop运行需要有Java环境的支持，因此在安装hadoop之前需要安装Java开发环境即JDK(Java Development Kit)。安装前首先向大家介绍以一下本文会用到的几个词： JAVA_HOME: 一 ...

大数据分析：学习工具Hadoop，基本安装指导

2020-06-01

Hadoop版本主要分为原生Apache Hadoop版和Hadoop商业发行版两种，而其中商业发行版Hadoop多为原生Apache Hadoop的集群模式下的优化版，除少数社区版外，商业发行版大多需要付费使用，且对于初学者而言使用难度较大 ...

shuffle在Spark及Hadoop中的作用大吗？

2020-05-13

shuffle是一个能产生奇迹的地方，不管是在 Spark 还是 Hadoop 中，它们的作用都是至关重要的。 在Spark中，一般在执行reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作时 ...

Hadoop常见问题解答

2018-07-23

Hadoop常见问题解答 （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务 ...

常见的七种Hadoop和Spark项目案例

2018-06-28

常见的七种Hadoop和Spark项目案例 如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。 有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创 ...

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

2017-12-19

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开 ...

嫌弃Hadoop？可能是你的打开方式有问题

2017-08-14

关于 Hadoop 所谓的消亡，以及它跌落神坛的报道数不胜数。有很多人放马后炮说，Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型，临时的工作来说很慢”、“ Hadoop 很难”、“ Hadoop 已经死了 ...

除了Hadoop，其他6个你必须知道的热门大数据技术

2017-06-13

你知道新的市场领导者和曾经的领导者之间的关键区别是什么吗? 那就是“数据管理”。任何无法处理数据并将其投入使用的企业，很可能会让位给那些能够更好处理数据的。 事实上，大数据和其流动性的力量能促使企业发 ...

Hadoop常见错误和处理方式

2017-05-28

Hadoop常见错误和处理方式   常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create ...

Hadoop之HDFS与小文件

2017-05-24

Hadoop之HDFS与小文件 Hadoop有一个名为“HDFS”的分布式文件系统，它的设计目的是提供一个高容错，且能部署在廉价硬件的分布式系统；它的设计参照了Google的GFS（Google分布式文件系统）；它能支持高吞吐量， ...

Hadoop+Hive常用知识总结

2017-05-24

Hadoop+Hive常用知识总结 1、什么是Hadoop？什么是hive？ Hadoop：一个分布式系统基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力告诉运算和存 ...

0基础搭建Hadoop大数据处理-环境

2017-05-21

0基础搭建Hadoop大数据处理-环境 由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知 ...

0基础搭建Hadoop大数据处理-初识

2017-05-21

0基础搭建Hadoop大数据处理-初识 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习， ...

Hadoop-HBASE案例分析-Hadoop学习笔记

2017-01-12

Hadoop-HBASE案例分析-Hadoop学习笔记 主要介绍HBase，一个分布式数据库的应用案例。 案例概况： 1）时间序列数据库(OpenTSDB)  用HBase储存时间序列数据，每时每刻都在解决，数据库 ...

SAS集成Hadoop途径几何

2016-07-15

SAS集成Hadoop途径几何 经常有人问，SAS如何和HADOOP交互、集成?在回答这个问题前，主要看HADOOP在SAS系统中的定位，有下面定位考虑： 1.把HADOOP作为传统数据源供SAS访问 这是最简单的一种应用场景，就 ...