记一次误操作

目录

• 记一次误操作
  
  
  
  • 1.起因
  
  
  • 2.经过
  
  
  • 3.结果
  
  
  • 4.处理办法
  
  
  
  

记一次误操作

1.起因

• docker 磁盘容量90%+报警，dockers 挂载overlay目录的物理机磁盘也容量报警85%+

2.经过

• 进入相应容器find排查占用超过200M的大文件，过滤出占用较大的日志后，echo 清空日志文件。因为这几个容器是安全产品，查看几个容器后发现存在同名的一些日志文件，故在宿主机的docker/overlay目录下执行如下操作：

#查找大于200M的文件
find docker/overlay -type f -size +200M -print0 | xargs -0 du -h | sort -nr > /tmp/bigfile.log
#过滤去除不需要清空的文件
cat /tmp/bigfile.log | grep -v '.json' | grep -v '.msu' | grep -v '.zip' | grep -v '.tar' | grep -v '.war' | grep -v '.rpm' > /tmp/needclean.log
#视检以下，以免误删
/tmp/needclean.log
#执行清空操作
for i in $(awk '{print $2}' /tmp/needclean.log);do echo “ ” >$i;done


• 较大的日志清空后，大部分容器的磁盘水位有所下降，但是物理机磁盘占用变化比较小，于是将docker未引用的卷给清理一下，效果明显

docker volume rm $(docker volume ls -qf dangling=true)


3.结果

• 由于清理docker未引用卷将一个容器实现某些功能所依赖的文件给删除，导致一个安全功能容器状态异常

4.处理办法

• 将异常容器删除，等待集群的容器编排管理工具（特性很像K8S，声明式幂等性面向终态，具体是啥就不表了,懂得都懂）重建，几分钟后安全功能容器状态恢复正常

docker ps -a | grep -i XXX
docker stop ContainerID && docker rm ContainID