1. 问题背景
最近在维护一个基于 RKE 部署的 3 节点 Kubernetes 集群(包含 Rancher)。为了修改 Docker 的默认存储目录,释放系统盘空间,我执行了以下操作将 Docker 数据迁移到数据盘:
systemctl stop docker
# 自动查找并卸载所有包含 docker 字符的挂载点
for m in $(mount | grep docker | awk '{print $3}'); do
sudo umount -l $m
done
# 同步数据到新目录
sudo rsync -avz /var/lib/docker/ /data/docker-data/
# 修改 docker 配置
# 编辑 /etc/docker/daemon.json,加入 "data-root": "/data/docker-data"
# 启动 docker
systemctl start docker
迁移完成后,通过 docker info | grep "Docker Root Dir" 确认 3 台机器的目录已成功修改为 /data/docker-data。
但随后发现集群中的 Pod 无法启动,且 ingress-nginx 更是完全起不来。为了尝试恢复集群,我先重新执行了 RKE 部署,并重建了部分异常 Pod:
# 在部署机执行
rke up --config cluster.yml
# 强制删除所有状态异常的 Pod
kubectl delete pods -n cattle-system --all --force --grace-period=0
kubectl delete pods -n kube-system --all --force --grace-period=0
rke up --config cluster.yml
执行完上述操作后,大部分 Pod(Rancher, Fleet, Calico, CoreDNS)都已经恢复到 Running 状态,说明之前的 Docker 路径迁移和 RKE 修复操作已经基本成功。
但唯独 ingress-nginx 依然报错,完全无法启动。
2. 故障现象
查看 ingress-nginx 的 Pod 状态,发现全部处于 CrashLoopBackOff:
[root@ops-manager ~]# kubectl get pod -n ingress-nginx
NAME READY STATUS RESTARTS AGE
nginx-ingress-controller-26pmc 0/1 CrashLoopBackOff 187 (64s ago) 15h
nginx-ingress-controller-nz9dc 0/1 CrashLoopBackOff 187 (40s ago) 15h
nginx-ingress-controller-p2rvr 0/1 CrashLoopBackOff 187 (57s ago) 15h
查看 Pod 日志,抛出了一个非常经典的错误:port 80 is already in use。
[root@ops-manager ~]# kubectl logs nginx-ingress-controller-nz9dc -n ingress-nginx
-------------------------------------------------------------------------------
NGINX Ingress controller
Release: nginx-1.2.1-rancher1
Build: git-d2c755417
Repository: https://github.com/rancher/ingress-nginx.git
nginx version: nginx/1.19.10
-------------------------------------------------------------------------------
F0513 09:47:44.351561 7 main.go:67] port 80 is already in use. Please check the flag --http-port
goroutine 1 [running]:
...
3. 诡异的排查过程
3.1 寻找“占用 80 端口的幽灵”
看到 port 80 is already in use,第一反应是宿主机上有残留的 nginx 进程或旧容器占用了 80 端口(因为 ingress-nginx 在 RKE 中使用的是 hostPort: 80/443)。
在 Node 节点上检查端口占用:
[root@rkenode2 ~]# ss -tlnp | grep -E ':80\s|:443\s'
[root@rkenode2 ~]# lsof -i:80
结果为空! 宿主机上根本没有任何进程在监听 80 端口。
3.2 深入 Pod 网络命名空间
既然宿主机没有,难道是在 Pod 的 Sandbox(pause 容器)网络命名空间里有残留进程?
找到对应的 pause 容器 PID,进入其网络命名空间查看:
[root@rkenode2 ~]# PAUSE_ID=2ec1c978f35b
[root@rkenode2 ~]# PID=$(docker inspect -f '{{.State.Pid}}' $PAUSE_ID)
[root@rkenode2 ~]# echo "pause PID = $PID"
pause PID = 1073666
[root@rkenode2 ~]# nsenter -t $PID -n ss -tlnp | grep -E ':80|:443'
结果依然为空!
3.3 根因分析:误导性的错误提示与 Linux Capabilities
既然没有任何进程占用 80 端口,为什么代码会报这个错?
经查阅资料得知, nginx-ingress-controller 的源码里在绑定端口失败时,没有打印底层的真实 error,而是硬编码抛出了 port 80 is already in use 的 Fatal 错误。
实际上,nginx-ingress-controller 容器是以非 root 用户(uid=101, www-data) 运行的。在 Linux 中,非 root 用户想要监听 1024 以下的特权端口(如 80/443),必须依赖可执行文件上的 File Capability(文件能力):cap_net_bind_service。
在正常的镜像中,二进制文件是被赋予了这个能力的:/nginx-ingress-controller = cap_net_bind_service=ep
而 File Capability 是通过文件系统的 xattr(扩展属性) 来存储的。
回想最初的迁移命令:sudo rsync -avz /var/lib/docker/ /data/docker-data/
破案了! rsync 的 -a 参数(归档模式)等价于 -rlptgoD,它并不包含保留扩展属性(xattr)的功能。
在同步过程中,底层 overlay2 镜像层里 /nginx-ingress-controller 文件的 cap_net_bind_service 被默默丢弃了。导致容器启动时,非 root 进程绑定 80 端口报 Permission denied (EACCES),进而被代码误报为端口被占用。
4. 根因验证
为了证实这个猜想,我们在节点的 Docker overlay2 目录中找到解压后的二进制文件,并使用 getcap 查看其能力:应该至少看到一条:cap_net_bind_service+ep
[root@rkenode2 ~]# for f in $(find /data/docker-data/overlay2 -name 'nginx-ingress-controller' -type f 2>/dev/null); do
> echo "FILE: $f"
> getcap "$f"
> done
FILE: /data/docker-data/overlay2/1b3b870a17b.../diff/nginx-ingress-controller
FILE: /data/docker-data/overlay2/3ec3582adb.../diff/nginx-ingress-controller
输出为空! 证实了 File Capability 确实在 rsync 迁移时丢失了。
5. 解决方案
由于 rsync 导致所有镜像层的 xattr 丢失,为了彻底消除隐患(不仅是 ingress,其他依赖 capability 的镜像也可能受损),需要清理损坏的 Docker 缓存并重新拉取镜像。
方案 A:快速修复(仅针对 Ingress)
如果急需恢复业务,可以先删除本地损坏的镜像和容器,重新 pull:
# 1. 暂停 DaemonSet 调度
kubectl -n ingress-nginx patch ds nginx-ingress-controller --type='merge' -p '{"spec":{"template":{"spec":{"nodeSelector":{"ingress-disabled":"true"}}}}}'
# 2. 在 Node 节点清理容器和镜像
docker ps -a | grep -Ei 'nginx-ingress|ingress-nginx' | awk '{print $1}' | xargs -r docker rm -f
docker rmi -f harbor.example.com.cn/rancher/nginx-ingress-controller:nginx-1.2.1-rancher1
docker image prune -a -f
# 3. 重新拉取镜像(Docker 会重新解压层,生成正确的 xattr)
docker pull harbor.example.com.cn/rancher/nginx-ingress-controller:nginx-1.2.1-rancher1
# 4. 验证 capability 是否恢复
for f in $(find /data/docker-data/overlay2 -name 'nginx-ingress-controller' -type f 2>/dev/null); do getcap "$f"; done
# 预期输出: .../diff/nginx-ingress-controller = cap_net_bind_service+ep
# 5. 恢复 DaemonSet
kubectl -n ingress-nginx patch ds nginx-ingress-controller --type='json' -p='[{"op":"remove","path":"/spec/template/spec/nodeSelector"}]'
方案 B:彻底收口(推荐,需维护窗口)
为了防止未来其他组件踩坑,最彻底的办法是逐台节点清理 Docker 数据目录(避开业务卷),让 RKE 重新构建。
注意:必须一台一台操作,确保节点恢复 Ready 后再操作下一台。
# 1. 管理机:备份 etcd 并驱逐节点
rke etcd snapshot-save --config cluster.yml --name pre-docker-clean-$(date +%F-%H%M)
kubectl cordon rkenode2
kubectl drain rkenode2 --ignore-daemonsets --delete-emptydir-data --force
# 2. 目标节点:清理 Docker 镜像与容器层(千万不要删 /var/lib/etcd 和 /data/docker-data/volumes)
systemctl stop docker
rm -rf /data/docker-data/image
rm -rf /data/docker-data/overlay2
rm -rf /data/docker-data/containers
rm -rf /data/docker-data/network/files
systemctl start docker
# 3. 管理机:使用 RKE 重建该节点组件
rke up --config cluster.yml
# 4. 恢复节点调度
kubectl uncordon rkenode2
6. 经验总结
- 迁移 Docker 数据目录的正确姿势:
使用rsync迁移 Docker 目录时,必须加上-X(保留 xattr)、-A(保留 ACL)和-H(保留硬链接),否则会导致极难排查的权限和存储膨胀问题。
正确的命令应该是:
rsync -avXAH --numeric-ids /var/lib/docker/ /data/docker-data/
- 警惕误导性报错:
port 80 is already in use不一定真的是端口被占用,在容器环境下,权限不足(Permission denied)绑定特权端口失败时,也可能被应用抛出此类错误。排查时要结合ss、nsenter和 Linux Capabilities 综合分析。
7. 附:稳妥的三节点 RKE1 + Docker 目录迁移实战步骤
经过反复踩坑,以下是确保集群服务不中断、RKE 组件正常恢复的正确迁移步骤。核心原则是:逐台操作,先 drain 再停 Docker,杀残留进程,rsync 加完整参数,再执行 rke up 修复组件挂载。
7.1. 迁移前的准备(在管理机执行)
首先明确你操作的是哪个集群的上下文(例如生产集群 prod),并做一次 etcd 备份:
# 确认当前的 KUBECONFIG
export KUBECONFIG=/root/install/prod/kube_config_cluster.yml
kubectl cluster-info
kubectl get nodes -o wide
# 备份 etcd 数据
cd /root/install/prod
rke etcd snapshot-save --config cluster.yml --name pre-docker-data-move
7.2. 逐台节点进行迁移
⚠️ 警告:必须一台一台完成全流程(迁移、恢复 Ready),才能操作下一台,绝不可同时停止多台主机的 Docker!
假设当前操作的节点是 10.0.123.26:
Step 1: 驱逐节点(在管理机执行)
kubectl drain 10.0.123.26 --ignore-daemonsets --delete-emptydir-data --grace-period=60 --timeout=10m
注:--ignore-daemonsets 会让 DaemonSet Pod 继续保留在节点上,这是预期行为。
Step 2: 停止服务并清理进程(在目标节点 10.0.123.26 执行)
# 创建新数据目录
mkdir -p /data/docker-data
# 停止 Docker 及容器引擎相关服务
systemctl disable docker
systemctl stop docker
# 重启服务器,彻底清理进程
reboot
# 检查是否还有残留进程占用旧的 Docker 目录
lsof +D /var/lib/docker
# 在 RKE1 中,k8s 组件也是跑在容器里的。停止 Docker 后,如果lsof还有输出,需要强制杀掉它们以释放 /var/lib/docker 的占用
pkill -TERM -f 'etcd|kubelet|kube-proxy|kube-scheduler|kube-apiserver|kube-controller-manager|cri-dockerd|rke-etcd'
sleep 5
lsof +D /var/lib/docker
# 如果还有残留,再执行:
pkill -KILL -f 'etcd|kubelet|kube-proxy|kube-scheduler|kube-apiserver|kube-controller-manager|cri-dockerd|rke-etcd'
Step 3: 同步数据并修改 Docker 配置(在目标节点 10.0.123.26 执行)
# 使用带上权限、xattr 等所有元数据的参数进行数据同步
rsync -aHAXS --numeric-ids /var/lib/docker/ /data/docker-data/
# 修改或创建 daemon.json,设置 data-root
mkdir -p /etc/docker
vi /etc/docker/daemon.json
# 加入内容:
# {
# "data-root": "/data/docker-data"
# }
# 重新加载并启动 Docker
systemctl daemon-reload
systemctl enable --now docker
# 验证 Docker 数据目录是否已生效
docker info | grep "Docker Root Dir"
# 预期输出:Docker Root Dir: /data/docker-data
Step 4: 修复 RKE 组件并恢复节点(回到管理机执行)
迁移完数据后,RKE 组件的容器中仍记录着旧路径,可能会报类似 rewrite resolv.conf failed... does not exist 的错误。因此需要用 RKE 对账修复:
# 触发 RKE 集群对账,它会自动修复内部组件的挂载路径
cd /root/install/prod
rke up --config cluster.yml
# 恢复节点的调度状态
kubectl uncordon 10.0.123.26
# 观察节点是否 Ready,该节点上的 Pod 是否都恢复到 Running 状态
kubectl get nodes
kubectl get pods -A -o wide | grep 10.0.123.26
注:如果在对账后仍然有处于 Error 的 DaemonSet Pod,可强制删除这些异常 Pod(如 kubectl delete pod <pod-name> -n <ns> --force --grace-period=0)让其在新的目录下重建。
7.3. 循环上述操作
确认当前节点完全恢复并在运行业务后,对第二台(10.0.123.27)、第三台(10.0.123.28)重复执行 Step 1 ~ Step 4 的流程。
7.4. 收尾与清理
等 3 台节点全部迁移完毕、且集群在业务高峰期也运行稳定后,再去各节点清理旧数据。
注意先卸载可能残留的 overlay 挂载,防止误删导致 device busy 或影响实际运行容器:
# 检查是否有旧的 docker 挂载点
mount | grep '/var/lib/docker'
# 如有(比如 `/var/lib/docker.old/.../merged`),请先执行卸载:
mount | grep '/var/lib/docker' | awk '{print $3}' | sort -r | xargs -r umount -l
# 最后再删除旧数据目录
# rm -rf /var/lib/docker
# rm -rf /var/lib/docker.old