在Hadoop集群管理中，实时掌握集群状态是确保系统稳定运行和高效处理数据的关键，通过一系列命令行工具，管理员可以全面监控集群的硬件资源、服务运行状态、任务执行效率以及数据存储情况，以下将详细介绍Hadoop查看集群状态的核心命令及其使用方法,涵盖HDFS和YARN两大核心组件。
HDFS（Hadoop Distributed File System）作为集群的存储基石，其状态监控至关重要，最基本的命令是hdfs dfsadmin -report，该命令提供了整个HDFS集群的概览信息，包括活动的DataNode数量、已用空间、剩余空间、容量总量以及每个DataNode的详细状态（如是否正常、磁盘使用情况等），通过hdfs dfsadmin -report的输出，管理员可以快速定位是否存在DataNode节点掉线，或者整体存储空间是否紧张，若需进一步查看HDFS的内部健康状态，可使用hdfs fsck /命令，它会从NameNode开始递归检查文件系统的完整性，报告文件块的数量、副本数是否符合要求（默认为3）、损坏的块以及文件的总体健康状况，对于更底层的NameNode元数据状态，hdfs dfsadmin -metastore命令可以用来查看或执行元数据相关的维护操作，而hdfs dfsadmin -safemode则用于检查或手动管理HDFS的安全模式，这是NameNode在启动时或进行大规模操作时进入的一种只读状态,确保数据一致性。
YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理和任务调度框架，其状态直接关系到集群的计算能力，查看YARN集群状态最常用的命令是yarn node -list，它会列出集群中所有NodeManager节点及其状态（如活跃、unhealthy）、资源量（内存、vcore）以及已用资源，通过该命令，管理员可以了解哪些节点正在参与计算，以及各节点的资源负载情况，要查看当前正在运行的应用程序（Job）及其详细信息，可以使用yarn application -list -appStates ALL，其中-appStates参数可以指定过滤条件，如RUNNING、FAILED、COMPLETED等，若需获取某个特定应用的详细报告，例如应用ID为application_1234567890012_0001的任务，可执行yarn application -status application_1234567890012_0001，这将显示应用的状态、用户、队列、优先级、进度以及当前运行在哪个NodeManager上等信息，对于资源使用情况的宏观监控，yarn cluster -status命令提供了集群总体的资源量、已用资源、可用资源以及正在运行的应用数量等概览数据。
除了针对HDFS和YARN的专用命令，Hadoop还提供了一些综合性的工具。hadoop job -list（在较新版本中可能已被YARN命令替代）可以查看历史任务信息，而mapred job -history <historyFilePath>则允许用户查看已完成的MapReduce作业的详细历史记录，包括任务尝试次数、失败原因、资源消耗等，这对于作业性能调优和问题排查非常有帮助，通过Web UI界面也是监控集群状态的重要补充方式，NameNode和ResourceManager都提供了基于浏览器的图形化界面，端口默认分别为9870和8088，在这些界面中可以更直观地查看集群概览、节点列表、应用列表、日志以及实时图表等信息。
为了更清晰地对比部分常用命令,以下表格总结了它们的主要功能和输出信息：
| 命令 | 主要功能 | 输出信息示例 |
|---|---|---|
hdfs dfsadmin -report |
查看HDFS集群整体状态和DataNode详情 | 活动DataNode数量、集群总容量、已用空间、各DataNode的IP和磁盘使用情况 |
hdfs fsck / |
检查HDFS文件系统完整性 | 文件总数、块总数、损坏块数、副本数不足的文件列表、整体健康状态 |
yarn node -list |
列出YARN集群中所有NodeManager节点及其状态 | NodeManager ID、状态、总内存、总vcore、已用内存、已用vcore |
yarn application -list -appStates RUNNING |
列出当前正在运行的YARN应用 | 应用ID、应用名称、用户、队列、应用状态、启动时间、进度 |
yarn application -status <appID> |
查看指定YARN应用的详细状态 | 应用状态、跟踪URL、最终状态、当前运行任务、资源分配情况 |
综合运用以上命令，管理员可以全面洞察Hadoop集群的运行态势，当用户反馈作业运行缓慢时，首先可通过yarn application -list查看是否存在大量作业堆积，然后使用yarn node -list检查NodeManager节点是否因资源不足或故障导致无法分配容器；若怀疑是存储问题导致I/O瓶颈，则可执行hdfs dfsadmin -report和hdfs fsck /来排查DataNode状态和文件块健康状况，通过这种系统性的排查方法，可以快速定位并解决集群运行中的各类问题,保障大数据处理任务的顺畅进行。
相关问答FAQs
问题1：执行hdfs dfsadmin -report时，发现部分DataNode状态显示为"Decommissioned"，这代表什么含义？如何处理？
解答："Decommissioned"状态表示该DataNode已被管理员设置为退役节点，即Hadoop系统正在逐步将该节点上的数据块复制到其他正常节点上，以确保数据副本数符合配置要求，这通常是为了下线旧硬件、维护或调整集群规模，处理步骤如下：检查hdfs-site.xml中配置的dfs.namenode.decommissioned.intervalblocks（或类似参数，具体版本可能略有不同），了解数据块复制的完成进度；可以通过hdfs dfsadmin -getDatanodeInfo <datanode_host:port>查看该节点的详细退役状态；当确认该节点上的所有数据块都已成功复制且不再承担服务后，可以手动从集群中移除该节点配置，如果希望取消退役，可以使用hdfs dfsadmin -refreshNodes命令重新加载节点_exclude文件（需确保该节点已从_exclude文件中移除）。
问题2：使用yarn application -list命令查看应用列表时，如何筛选出在特定时间段内提交的应用？
解答：yarn application -list命令本身不直接支持按提交时间范围筛选，但可以通过结合其他命令和工具实现，执行yarn application -list -appStates ALL获取所有应用（包括已完成的）的列表，输出中会包含应用的"StartTime"字段，该字段为Unix时间戳，可以通过管道将输出传递给grep、awk等文本处理工具，结合时间戳范围进行筛选，要筛选出2023年10月26日10:00:00至12:00:00之间提交的应用，假设该时间段对应的时间戳范围为1698316800000至1698324000000，可以执行命令：yarn application -list -appStates ALL | awk -F'\t' '$2 >= 1698316800000 && $2 <= 1698324000000 {print $0}'。-F'\t'表示以制表符为分隔符，$2通常对应应用ID，具体字段位置可能因Hadoop版本和输出格式略有不同，需先用head或less命令查看输出列的顺序，对于更复杂的时间范围查询，也可以将yarn application -list的输出重定向到文件，然后使用Excel、Python脚本等工具进行二次处理和分析。
