HDFS（Hadoop Distributed File System）作为Hadoop生态的核心组件，提供了分布式文件存储能力，其文件操作命令是用户与HDFS交互的基础，这些命令通过Hadoop Shell实现，语法形式为hadoop fs <command>或hdfs dfs <command>，涵盖了文件创建、删除、查看、移动、复制等基本操作，以及权限管理、磁盘使用统计等高级功能,以下从常用操作类别展开详细说明。
文件与目录操作
创建目录使用mkdir命令，支持递归创建多级目录，例如hadoop fs -mkdir /user/input会在根目录下创建user/input路径，若需创建嵌套目录需加-p参数（hadoop fs -mkdir -p /data/2023）。删除操作分rm和rmdir，rm可删除文件或非空目录（需加-r或-f强制删除），而rmdir仅删除空目录，例如删除/user/output目录及其内容需执行hadoop fs -rm -r /user/output。文件上传与下载分别通过put和get命令实现，本地文件local.txt上传至HDFS的/data/目录使用hadoop fs -put local.txt /data/，若需显示进度可加-f参数；从HDFS下载文件到本地则用hadoop fs -get /data/remote.txt ./，支持指定本地路径。复制与移动中，cp用于复制文件或目录（如hadoop fs -cp /data/file1.txt /backup/），mv可移动文件或重命名（hadoop fs -mv /data/old.txt /data/new.txt），移动操作在HDFS集群内是原子性的,效率较高。
文件查看与内容处理
查看文件内容有多种方式：cat适合查看小文件（hadoop fs -cat /data/log.txt），head和tail分别查看文件开头和末尾（hadoop fs -head -n 100 /data/bigdata.txt），less支持分页浏览（需终端支持）。文本处理命令如text可将二进制文件转为文本格式（hadoop fs -text /data/compressed.gz），chgrp、chown、chmod分别用于修改所属组、所有者和权限（如hadoop fs -chmod 755 /data/script.sh）。统计信息通过du和df获取，du -s /data显示目录总大小，du -h /data/*按文件显示人类可读格式大小；df -h查看HDFS整体磁盘使用情况。
高级操作与批量处理
查找文件使用find命令，例如hadoop fs -find /data -name "*.txt" -print会递归查找/data下所有.txt文件。文件校验通过checksum计算文件MD5值（hadoop fs -checksum /data/file.txt），确保数据完整性。批量操作可通过循环脚本实现，例如用for循环上传多个本地文件：for f in *.txt; do hadoop fs -put $f /data/; done。distcp命令支持跨集群复制文件（hadoop distcp hdfs://cluster1/data hdfs://cluster2/backup）,适用于大数据迁移。
相关操作命令速查表
| 命令类型 | 常用命令 | 功能描述 | 示例 |
|---|---|---|---|
| 目录操作 | mkdir [-p] |
创建目录（-p支持递归） |
hadoop fs -mkdir -p /data/2023 |
rmdir |
删除空目录 | hadoop fs -rmdir /data/empty |
|
| 文件操作 | put |
上传本地文件到HDFS | hadoop fs -put local.txt /data/ |
get |
从HDFS下载文件到本地 | hadoop fs -get /data/remote.txt ./ |
|
cp |
复制文件或目录 | hadoop fs -cp /data/f1.txt /backup/ |
|
mv |
移动文件或重命名 | hadoop fs -mv /data/old.txt new.txt |
|
| 删除操作 | rm [-r|-f] |
删除文件或目录（-r递归，-f强制） |
hadoop fs -rm -r /data/output |
head [-n] |
查看文件前n行 | hadoop fs -head -n 100 /data/big.txt |
|
| 权限管理 | chmod [权限] |
修改文件权限 | hadoop fs -chmod 644 /data/file.txt |
| 统计信息 | du [-h] [-s] |
统计文件/目录大小（-h人类可读，-s汇总） |
hadoop fs -du -h /data |
df [-h] |
查看HDFS磁盘使用情况 | hadoop fs -df -h |
相关问答FAQs
Q1: HDFS中如何批量删除多个指定扩展名的文件？
A: 可以结合find和-delete参数实现，例如删除/data目录下所有.tmp文件：hadoop fs -find /data -name "*.tmp" -delete，若需先确认再删除，可先用-print查看文件列表,确认无误后执行删除命令。
Q2: 使用put命令上传大文件时，如何避免因网络问题导致上传中断后重复上传？
A: HDFS的put命令本身不支持断点续传，但可通过以下方式优化：1) 使用-f参数覆盖已存在文件，避免重复上传；2) 将大文件分块后上传（如用split命令分割本地文件，再分别上传）；3) 采用distcp工具进行分布式上传,支持并行处理和容错机制。
