Prometheus数据文件句柄未释放，磁盘空间飙升问题解决方案

小麦苗DBA宝典

发布于 2024-04-25 14:12:17

1060

发布于 2024-04-25 14:12:17

文章被收录于专栏：小麦苗的DB宝专栏小麦苗的DB宝专栏

现象

有一个Linux主机，部署了Prometheus，但是基本每隔1个月，2T的磁盘就会被撑爆，通过df和du找不到占用空间大的文件。

对于这类情况，一般都是deleted的文件导致。

在Linux中，如果一个文件被删除但仍然被某个进程打开，那么在lsof命令的输出中，该文件会显示为(deleted)标记。这意味着虽然文件已被删除，但进程仍然在使用它。通常情况下，删除文件后，磁盘空间不会立即释放，直到所有打开文件描述符关闭或进程退出为止。

这种情况下，文件在文件系统中的目录项已被删除，但文件仍然存在于磁盘上，只是无法通过文件名访问。这种情况下，文件的数据不会被真正删除，直到所有使用该文件的进程关闭。

当一个文件被删除后，如果有进程仍然在使用该文件，系统会保持文件的内容不变，直到所有打开文件描述符都关闭。这样可以确保正在使用文件的进程不会因为文件突然消失而导致错误。

要释放已删除文件占用的磁盘空间，你可以通过以下步骤之一：

重启正在使用该文件的进程。
关闭正在使用该文件的进程。
找到并杀死使用已删除文件的进程。

对于第三种情况，你可以使用类似于以下命令的方式：

lsof | grep delete | awk '{print $2}' | sort -u | xargs -I {} kill -9 {}

这将查找所有正在使用已删除文件的进程并将它们杀死，从而释放被删除文件占用的磁盘空间。

排查

[root@lhrprometheus /]# df -h
Filesystem               Size  Used Avail Use% Mounted on
overlay                  2.0T  1.2T  772G  62% /
tmpfs                     64M     0   64M   0% /dev
shm                       64M     0   64M   0% /dev/shm
/dev/mapper/centos-root  2.0T  1.2T  772G  62% /etc/hosts
tmpfs                    4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs                     16G   33M   16G   1% /run
tmpfs                    3.2G     0  3.2G   0% /run/user/0
[root@lhrprometheus /]# lsof | grep delete | wc -l
44
[root@lhrprometheus /]# lsof | grep delete | wc -l
44
[root@lhrprometheus /]# lsof | grep delete 
prometheu    161              root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161              root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    205       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    205       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    206       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    206       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    207       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    207       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    208       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    208       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    210       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    210       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    211       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    211       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    212       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    212       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    213       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    213       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    214       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    214       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    215       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    215       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    228       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    228       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    233       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    233       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    234       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    234       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    235       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    235       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    236       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    236       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    237       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    237       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    238       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    238       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    263       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    263       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    264       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    264       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161    265       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161    265       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)
prometheu    161 106397       root  745r      REG               0,45 129790352 2231413562 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/chunks/000001 (deleted)
prometheu    161 106397       root  746r      REG               0,45   6101881 2214610318 /data/01HVSWSDRV4ZNQRBP9GY1XDPH7/index (deleted)

解决

直接杀掉父进程：

[root@lhrprometheus /]# kill -9 161
[root@lhrprometheus /]# df -h
Filesystem               Size  Used Avail Use% Mounted on
overlay                  2.0T  1.2T  772G  62% /
tmpfs                     64M     0   64M   0% /dev
shm                       64M     0   64M   0% /dev/shm
/dev/mapper/centos-root  2.0T  1.2T  772G  62% /etc/hosts
tmpfs                    4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs                     16G   33M   16G   1% /run
tmpfs                    3.2G     0  3.2G   0% /run/user/0

[root@lhrprometheus /]# df -h
Filesystem               Size  Used Avail Use% Mounted on
overlay                  2.0T  1.1T  871G  57% /
tmpfs                     64M     0   64M   0% /dev
shm                       64M     0   64M   0% /dev/shm
/dev/mapper/centos-root  2.0T  1.1T  871G  57% /etc/hosts
tmpfs                    4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs                     16G   33M   16G   1% /run
tmpfs                    3.2G     0  3.2G   0% /run/user/0
[root@lhrprometheus /]# df -h
Filesystem               Size  Used Avail Use% Mounted on
overlay                  2.0T  803G  1.2T  41% /
tmpfs                     64M     0   64M   0% /dev
shm                       64M     0   64M   0% /dev/shm
/dev/mapper/centos-root  2.0T  803G  1.2T  41% /etc/hosts
tmpfs                    4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs                     16G   33M   16G   1% /run
tmpfs                    3.2G     0  3.2G   0% /run/user/0

[root@lhrprometheus /]# df -h
Filesystem               Size  Used Avail Use% Mounted on
overlay                  2.0T  489G  1.5T  25% /
tmpfs                     64M     0   64M   0% /dev
shm                       64M     0   64M   0% /dev/shm
/dev/mapper/centos-root  2.0T  489G  1.5T  25% /etc/hosts
tmpfs                    4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs                     16G   33M   16G   1% /run
tmpfs                    3.2G     0  3.2G   0% /run/user/0

可以看到，磁盘空间自动释放掉了。

定时删除

cat > /root/kill_deleted_files_processes.sh <<"EOF"
#!/bin/bash

# 查找所有使用已删除文件的进程，并杀死它们
lsof | grep delete | awk '{print $2}' | sort -u | xargs -I {} kill -9 {}

# 可选：输出被杀死的进程信息
echo "Killed processes:"

EOF



chmod +x /root/kill_deleted_files_processes.sh


crontab -l
0 * * * * /root/kill_deleted_files_processes.sh