在centos系统中排查hdfs故障通常需要遵循一系列系统化的故障排除步骤。以下是一个详细的故障排查流程：
1. 检查HDFS服务状态
- 使用命令
systemctl status hadoop-hdfs-namenode和systemctl status hadoop-hdfs-datanode检查HDFS服务的状态。如果服务未运行，可以通过systemctl start hadoop-hdfs-namenode和systemctl start hadoop-hdfs-datanode启动服务。
2. 检查日志文件
-
NameNode日志：通常位于
/var/log/hadoop-hdfs/namenode-。.log -
DataNode日志：通常位于
/var/log/hadoop-hdfs/datanode-。.log -
Secondary NameNode日志：通常位于
/var/log/hadoop-hdfs/secondarynamenode-。.log
通过查看这些日志文件，可以获得有关错误的详细信息，例如权限问题、磁盘故障、网络问题等。
3. 检查网络连接
- 确保所有节点之间的网络连接正常。可以使用
ping命令测试节点之间的连通性。
4. 检查HDFS配置文件
- 检查主要配置文件，如
hdfs-site.xml和core-site.xml，确保配置正确。特别注意以下配置项：fs.defaultFSdfs.namenode.rpc-addressdfs.datanode.data.dirdfs.namenode.http-address
5. 检查机架感知配置
- 如果使用了机架感知功能，确保机架感知配置正确。可以通过命令
hdfs dfsadmin -printTopology查看机架感知拓扑。
6. 检查资源使用情况
- 使用
top或htop命令检查集群中各个节点的资源使用情况，如CPU、内存和磁盘空间。
7. 检查防火墙设置
- 确保防火墙允许HDFS所需的网络流量。可以使用以下命令检查和修改防火墙规则：
iptables -Lfirewall-cmd --list-allfirewall-cmd --add-port/tcp --permanent firewall-cmd --reload
8. 使用HDFS Shell命令
- 列出目录内容：
hdfs dfs -ls /path/to/directory - 检查文件状态：
hdfs dfs -stat %h /path/to/file - 删除目录：
hdfs dfs -rm -r /path/to/directory - 进入HDFS Shell：
hdfs dfs -bash
9. 检查Hadoop集群状态
- 使用Ambari或HDFS自带的命令检查集群状态。例如，使用Ambari可以查看集群概述和各个服务的状态。
10. 检查硬件故障
- 检查存储设备、网络接口卡等硬件是否正常工作。
11. 数据恢复
- 如果数据丢失，可以尝试从备份中恢复数据。如果没有备份，可能需要从其他NameNode或DataNode中恢复数据。
12. 安全模式
- 如果NameNode进入安全模式并且无法退出，可以通过命令
hdfs dfsadmin -safemode leave退出安全模式。
通过上述步骤，可以系统地排查HDFS在CentOS上的故障。如果问题仍然存在，建议查看相关日志文件和系统信息，以便进一步定位问题。
