启用HDFS文件系统之前,需要对其进行格式化;格式化只需做一次
在192.168.31.130上执行如下命令
cd /opt/linuxsir/hadoop/bin
./hdfs namenode -format
rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*
cd /opt/linuxsir/hadoop/sbin
./start-all.sh
\如果要停止,请执行如下命令
cd /opt/linuxsir/hadoop/sbin
./stop-all.sh
clear
cd /opt/linuxsir/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
\如果要停止,请执行如下命令,即分开停止HDFS和YARN
cd /opt/linuxsir/hadoop/sbin
./stop-yarn.sh
./stop-dfs.sh
现在,可以在三个节点上,查看进程,验证Hadoop是否成功启动
[root@hd-master bin]# jps
6262 NameNode
28630 Jps
6455 SecondaryNameNode
6618 ResourceManager
[root@hd-master bin]# ssh root@192.168.31.132 jps
3431 NodeManager
20697 Jps
3311 DataNode
[root@hd-master bin]# ssh root@192.168.31.133 jps
3313 DataNode
3431 NodeManager
20295 Jps
到目前为止,启动HDFS和YARN以后,各个节点的进程,如下图所示
层级 | hd-master | hd-slave1 | hd-slave2 |
---|---|---|---|
hdfs层 | NameNode、Secondary、NameNode | DataNode | DataNode |
Yarn层 | ResourceManager | NodeManager | NodeManager |
hardware各个节点 | 192.168.31.131 | 192.168.31.132 | 192.168.31.133 |
在hd-master上运行如下命令,报告HDFS的基本信息
cd /opt/linuxsir/hadoop
./bin/hdfs dfsadmin -report
[root@hd-master bin]# cd /opt/linuxsir/hadoop
[root@hd-master hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 63116517376 (58.78 GB)
Present Capacity: 52430880768 (48.83 GB)
DFS Remaining: 52430462976 (48.83 GB)
DFS Used: 417792 (408 KB)
DFS Used%: 0.00%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
Live datanodes (2):
Name: 192.168.31.133:50010 (hd-slave2)
Hostname: hd-slave2
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5349883904 (4.98 GB)
DFS Remaining: 26208165888 (24.41 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.05%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024
Name: 192.168.31.132:50010 (hd-slave1)
Hostname: hd-slave1
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5335752704 (4.97 GB)
DFS Remaining: 26222297088 (24.42 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.09%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024
如果Hadoop启动出问题,可以通过查看日志来寻找原因。每次启动Hadoop,应该首先清空三个节点的logs目录,方便寻找错误。
当启动出错,可以到相应节点上,查看日志文件。哪个节点启动出错,就看哪个节点的日志文件。由于有无密码ssh登录,可以通过主节点登录到其它节点,去查看所有节点的日志文件。
日志文件分别在hd-master、hd-slave1、hd-slave2的/opt/linuxsir/hadoop/logs目录下。
启动Hadoop之前,删除log文件
如果启动出问题,log文件里就是最新的出错信息
rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*
若干web管理界面,列表如下
访问NameNode管理页面,监控文件系统。 http://192.168.31.131:50070/
访问ResourceManager(整个Cluster)管理页面,监控集群状况。 http://192.168.31.131:9099/ 这个端口缺省是8088,由于端口冲突,改成9099, 参考yarn-site.xml
MapReduce JobHistory Server的管理页面,查看MapReduce作业提交历史;需要事先启动JobHistory Server。 http://192.168.31.131:19888/
cd /opt/linuxsir/hadoop/bin
hdfs dfsadmin -safemode leave
\ 用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
\ enter - 进入安全模式
\ leave - 强制NameNode离开安全模式
\ get - 返回安全模式是否开启的信息
\ wait - 等待,一直到安全模式结束
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -rm -r /input \ 递归式删除目录
./hdfs dfs -mkdir /input \ 创建目录
./hdfs dfs -chmod a+rwx /input \ 授权
./hdfs dfs -mkdir /output \ 创建目录
./hdfs dfs -copyFromLocal /opt/linuxsir/test.txt /input \ 拷贝文件到HDFS
\ 或者./hdfs dfs -put /opt/linuxsir/test.txt /input
./hdfs dfs -cat /input/test.txt | head \ 显示文件的头几行
注意,需要事先启动HDFS和YARN
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -cat /input/test.txt
./hadoop jar /opt/linuxsir/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/test.txt /output
./hdfs dfs -ls /output
./hdfs dfs -cat /output/part-r-00000
为了运行wordcount,必须保证hdfs分布式文件系统的/output不存在。如果存在可以把它删除,命令如下
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -ls /output
./hdfs dfs -rm /output/*
./hdfs dfs -rmdir /output
在hd-master节点上,配置History Server
1、在.../etc/hadoop/mapred-site.xml中配置以下内容
<property>
<name>mapreduce.jobhistory.address</name>
<value>hd-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd-master:19888</value>
</property>
2、把hd-master的新配置分发到所有节点即hd-slave1和hd-slave2。
clear
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave1:/opt/linuxsir/hadoop/etc/hadoop
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave2:/opt/linuxsir/hadoop/etc/hadoop
3、启动服务,在hd-master这台服务器上执行以下语句。 注意,需要事先启动HDFS和YARN
cd /opt/linuxsir/hadoop/sbin
mr-jobhistory-daemon.sh start historyserver
clear
jps
ssh root@192.168.31.132 jps
ssh root@192.168.31.133 jps
访问MapReduce JobHistory Server
http://192.168.31.131:19888/
为了顺利运行该实例,需要编辑/opt/linuxsir/hadoop/etc/hadoop/hdfs-site.xml配置文件,添加如下配置
<!-- for windows access linux HDFS -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
这里分享一个你一定用得到的小程序——CDA数据分析师考试小程序。 它是专为CDA数据分析认证考试报考打造的一款小程序。可以帮你快速报名考试、查成绩、查证书、查积分,通过该小程序,考生可以享受更便捷的服务。 扫码加入CDA小程序,与圈内考生一同学习、交流、进步!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-06在现代企业中,数据分析师扮演着至关重要的角色。每天都有大量数据涌入,从社交媒体到交易平台,数据以空前的速度和规模生成。面 ...
2025-01-06在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31提到数据分析,你脑海里可能会浮现出一群“数字控”抱着电脑,在海量数据里疯狂敲代码的画面。但事实是,数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业,近年来的讨论层出不穷。在这个快速变化的时代,技术进步让人既兴奋又不安。今天,我们从 ...
2024-12-30