如何在 Linux 中查找超大的文件？

在深夜紧急维护中，当根目录剩余空间不足1%时；当持续构建失败却找不到原因时；当服务器响应速度突然变慢时——快速定位吞噬磁盘空间的“元凶文件” ，往往是解决问题的关键。 某电商平台曾因PHP进程持续写入10GB错误日志文件导致IO阻塞，运维团队使用传统命令du -sh *逐层查找耗时27分钟，而采用本文方法仅需8秒锁定目标。本文将详解多种高效检索大文件的技巧，涵盖常规场景、非常规问题及自动化运维方案。

一、使用 du 命令快速定位大目录

基础用法

1. 查看当前目录各子目录大小（人类可读格式）

   Bash
   du -h --max-depth=1 | sort -hr

   效果：以GB/MB为单位，按大小降序展示目录层级。

2. 查找前10大目录（排除挂载点）

   Bash
   du -xh / 2>/dev/null | sort -rh | head -n 10

   关键参数：

   • -x：防止跨文件系统统计（如排除挂载的NFS目录）。
   • 2>/dev/null：忽略权限错误等警告信息。

进阶技巧

• 筛选大于500MB的目录

  Bash
  du -h --threshold=3M /etc 2>/dev/null

  说明：--threshold=3M表示筛选大于3MB的目录（需注意单位换算）。

---

二、利用 find 命令深度搜索文件

基础搜索

1. 查找/etc下大于1M的文件

   Bash
   find /etc -type f -size +1048576 -exec ls -lh {} \; 2>/dev/null

   参数解析：

   • -size +1048576：精确匹配大于1MB（1048576字节）的文件。
   • -exec ls -lh：直接展示文件详细信息。

2. 按时间维度搜索（最近30天修改过的500MB+文件）

   Bash
   find /var -mtime -30 -size +500M -printf "%s\t%p\n" | sort -n

   高级输出：

   • -printf "%s\t%p\n"：自定义输出格式（文件大小+路径）。

格式化输出示例

---

三、结合 ls 与 sort 直观展示结果

按文件大小逆序排序

1. 显示含隐藏文件的前20项

   Bash
   ls -AlhS --group-directories-first | head -n 20

   效果：以人类可读格式（-h）按大小降序（-S）展示，目录优先显示。

2. 排查大量小文件问题

   Bash
   ls -i | sort -n | tail -n 15

   作用：通过inode号（-i）统计文件数量，定位分散的小文件。

---

四、sort 命令灵活排序输出

按列排序

1. 按第5列（大小）数字逆序排序

   Bash
   du -h /etc | sort -k5 -hr

   适用场景：处理du输出的非结构化数据。

2. 混合排序：优先目录后文件

   Bash
   find . -type d -exec du -s {} \; 2>/dev/null | sort -n | cut -f2 | xargs du -sh

   逻辑：先统计目录大小，再合并文件排序结果。

---

五、应对非常规场景的高级技巧

1. 稀疏文件检测

查找实际占用小于表面大小的文件：

Bash
find . -type f -printf "%S\t%p\n" | awk '$1 < 1.0'

说明：%S表示文件稀疏度（1.0为完全占用）。

2. LVM快照空间回收

定位快照中占用最大的COW块：

Bash
lvs -o +devices,metadata_percent

3. Docker容器空间清理

查找体积最大的容器层：

Bash
docker system df -v | grep GB | sort -k5 -h

---

六、自动化运维：定时扫描与预警

Shell脚本示例

Bash
#!/bin/bash
ALERT_THRESHOLD=1073741824  # 1GB
LOG_FILE="/var/log/big_files_$(date +%Y%m%d).log"

find / -type f -size +${ALERT_THRESHOLD}c -exec ls -lh {} \; 2>/dev/null > ${LOG_FILE}

if [ -s ${LOG_FILE} ]; then
  echo "发现超大文件！" | mail -a ${LOG_FILE} -s "磁盘空间警报" admin@example.com
fi

功能：每日扫描超过1GB的文件，触发邮件告警。

Systemd定时器配置

Bash
# /etc/systemd/system/disk-check.timer
[Unit]
Description=Daily disk space check

[Timer]
OnCalendar=daily
Persistent=true

[Install]
WantedBy=timers.target

使用：启用后每日自动执行检测脚本。

---

七、禁忌与陷阱：避开常见误区

1. 虚拟文件系统的误判风险

• /proc与/sys目录：可能返回虚假大文件（如/proc/kcore看似4GB）。 解决：排除特殊目录：

Bash
find / -path /proc -prune -o -path /sys -prune -o -type f -size +1G

2. NFS挂载点的性能雪崩

跨网络文件系统遍历可能导致性能问题：

Bash
find /mnt/nfs -xdev -size +1G  # 使用-xdev禁止跨设备搜索

3. ext4目录索引优化

当单个目录文件过多时，启用目录索引加速查询：

Bash
tune2fs -O dir_index /dev/sda1

---

总结

本文从基础命令到自动化运维，系统讲解了Linux下定位大文件的完整方案。掌握du、find、sort的组合用法，可大幅提升磁盘空间排查效率。同时需注意特殊场景（如虚拟文件系统、NFS挂载点）的规避策略。建议结合实际场景灵活调整命令参数，并通过定时任务实现主动预警。

实践建议：定期运行find / -xdev -size +1G监控潜在风险，搭配自动化脚本提前干预。