1. 问题背景

最近在维护一个基于 RKE 部署的 3 节点 Kubernetes 集群(包含 Rancher)。为了修改 Docker 的默认存储目录,释放系统盘空间,我执行了以下操作将 Docker 数据迁移到数据盘:

systemctl stop docker

# 自动查找并卸载所有包含 docker 字符的挂载点
for m in $(mount | grep docker | awk '{print $3}'); do
    sudo umount -l $m
done

# 同步数据到新目录
sudo rsync -avz /var/lib/docker/ /data/docker-data/

# 修改 docker 配置
# 编辑 /etc/docker/daemon.json,加入 "data-root": "/data/docker-data"

# 启动 docker
systemctl start docker

迁移完成后,通过 docker info | grep "Docker Root Dir" 确认 3 台机器的目录已成功修改为 /data/docker-data。

但随后发现集群中的 Pod 无法启动,且 ingress-nginx 更是完全起不来。为了尝试恢复集群,我先重新执行了 RKE 部署,并重建了部分异常 Pod:

# 在部署机执行
rke up --config cluster.yml

# 强制删除所有状态异常的 Pod
kubectl delete pods -n cattle-system --all --force --grace-period=0
kubectl delete pods -n kube-system --all --force --grace-period=0

rke up --config cluster.yml

执行完上述操作后,大部分 Pod(Rancher, Fleet, Calico, CoreDNS)都已经恢复到 Running 状态,说明之前的 Docker 路径迁移和 RKE 修复操作已经基本成功。

但唯独 ingress-nginx 依然报错,完全无法启动。

2. 故障现象

查看 ingress-nginx 的 Pod 状态,发现全部处于 CrashLoopBackOff:

[root@ops-manager ~]# kubectl get pod -n ingress-nginx
NAME                                   READY   STATUS             RESTARTS        AGE
nginx-ingress-controller-26pmc         0/1     CrashLoopBackOff   187 (64s ago)   15h
nginx-ingress-controller-nz9dc         0/1     CrashLoopBackOff   187 (40s ago)   15h
nginx-ingress-controller-p2rvr         0/1     CrashLoopBackOff   187 (57s ago)   15h

查看 Pod 日志,抛出了一个非常经典的错误:port 80 is already in use。

[root@ops-manager ~]# kubectl logs nginx-ingress-controller-nz9dc -n ingress-nginx
-------------------------------------------------------------------------------
NGINX Ingress controller
  Release:       nginx-1.2.1-rancher1
  Build:         git-d2c755417
  Repository:    https://github.com/rancher/ingress-nginx.git
  nginx version: nginx/1.19.10
-------------------------------------------------------------------------------

F0513 09:47:44.351561       7 main.go:67] port 80 is already in use. Please check the flag --http-port
goroutine 1 [running]:
...

3. 诡异的排查过程

3.1 寻找“占用 80 端口的幽灵”

看到 port 80 is already in use,第一反应是宿主机上有残留的 nginx 进程或旧容器占用了 80 端口(因为 ingress-nginx 在 RKE 中使用的是 hostPort: 80/443)。

在 Node 节点上检查端口占用:

[root@rkenode2 ~]# ss -tlnp | grep -E ':80\s|:443\s'
[root@rkenode2 ~]# lsof -i:80

结果为空! 宿主机上根本没有任何进程在监听 80 端口。

3.2 深入 Pod 网络命名空间

既然宿主机没有,难道是在 Pod 的 Sandbox(pause 容器)网络命名空间里有残留进程?
找到对应的 pause 容器 PID,进入其网络命名空间查看:

[root@rkenode2 ~]# PAUSE_ID=2ec1c978f35b
[root@rkenode2 ~]# PID=$(docker inspect -f '{{.State.Pid}}' $PAUSE_ID)
[root@rkenode2 ~]# echo "pause PID = $PID"
pause PID = 1073666

[root@rkenode2 ~]# nsenter -t $PID -n ss -tlnp | grep -E ':80|:443'

结果依然为空!

3.3 根因分析:误导性的错误提示与 Linux Capabilities

既然没有任何进程占用 80 端口,为什么代码会报这个错?
经查阅资料得知, nginx-ingress-controller 的源码里在绑定端口失败时,没有打印底层的真实 error,而是硬编码抛出了 port 80 is already in use 的 Fatal 错误。

实际上,nginx-ingress-controller 容器是以非 root 用户(uid=101, www-data) 运行的。在 Linux 中,非 root 用户想要监听 1024 以下的特权端口(如 80/443),必须依赖可执行文件上的 File Capability(文件能力):cap_net_bind_service。

在正常的镜像中,二进制文件是被赋予了这个能力的:
/nginx-ingress-controller = cap_net_bind_service=ep

而 File Capability 是通过文件系统的 xattr(扩展属性) 来存储的。

回想最初的迁移命令:
sudo rsync -avz /var/lib/docker/ /data/docker-data/

破案了! rsync 的 -a 参数(归档模式)等价于 -rlptgoD,它并不包含保留扩展属性(xattr)的功能。

在同步过程中,底层 overlay2 镜像层里 /nginx-ingress-controller 文件的 cap_net_bind_service 被默默丢弃了。导致容器启动时,非 root 进程绑定 80 端口报 Permission denied (EACCES),进而被代码误报为端口被占用。

4. 根因验证

为了证实这个猜想,我们在节点的 Docker overlay2 目录中找到解压后的二进制文件,并使用 getcap 查看其能力:应该至少看到一条:cap_net_bind_service+ep

[root@rkenode2 ~]# for f in $(find /data/docker-data/overlay2 -name 'nginx-ingress-controller' -type f 2>/dev/null); do
>   echo "FILE: $f"
>   getcap "$f"
> done

FILE: /data/docker-data/overlay2/1b3b870a17b.../diff/nginx-ingress-controller
FILE: /data/docker-data/overlay2/3ec3582adb.../diff/nginx-ingress-controller

输出为空! 证实了 File Capability 确实在 rsync 迁移时丢失了。

5. 解决方案

由于 rsync 导致所有镜像层的 xattr 丢失,为了彻底消除隐患(不仅是 ingress,其他依赖 capability 的镜像也可能受损),需要清理损坏的 Docker 缓存并重新拉取镜像。

方案 A:快速修复(仅针对 Ingress)

如果急需恢复业务,可以先删除本地损坏的镜像和容器,重新 pull:

# 1. 暂停 DaemonSet 调度
kubectl -n ingress-nginx patch ds nginx-ingress-controller --type='merge' -p '{"spec":{"template":{"spec":{"nodeSelector":{"ingress-disabled":"true"}}}}}'

# 2. 在 Node 节点清理容器和镜像
docker ps -a | grep -Ei 'nginx-ingress|ingress-nginx' | awk '{print $1}' | xargs -r docker rm -f
docker rmi -f harbor.example.com.cn/rancher/nginx-ingress-controller:nginx-1.2.1-rancher1
docker image prune -a -f

# 3. 重新拉取镜像(Docker 会重新解压层,生成正确的 xattr)
docker pull harbor.example.com.cn/rancher/nginx-ingress-controller:nginx-1.2.1-rancher1

# 4. 验证 capability 是否恢复
for f in $(find /data/docker-data/overlay2 -name 'nginx-ingress-controller' -type f 2>/dev/null); do getcap "$f"; done
# 预期输出: .../diff/nginx-ingress-controller = cap_net_bind_service+ep

# 5. 恢复 DaemonSet
kubectl -n ingress-nginx patch ds nginx-ingress-controller --type='json' -p='[{"op":"remove","path":"/spec/template/spec/nodeSelector"}]'

方案 B:彻底收口(推荐,需维护窗口)

为了防止未来其他组件踩坑,最彻底的办法是逐台节点清理 Docker 数据目录(避开业务卷),让 RKE 重新构建。

注意:必须一台一台操作,确保节点恢复 Ready 后再操作下一台。

# 1. 管理机:备份 etcd 并驱逐节点
rke etcd snapshot-save --config cluster.yml --name pre-docker-clean-$(date +%F-%H%M)
kubectl cordon rkenode2
kubectl drain rkenode2 --ignore-daemonsets --delete-emptydir-data --force

# 2. 目标节点:清理 Docker 镜像与容器层(千万不要删 /var/lib/etcd 和 /data/docker-data/volumes)
systemctl stop docker
rm -rf /data/docker-data/image
rm -rf /data/docker-data/overlay2
rm -rf /data/docker-data/containers
rm -rf /data/docker-data/network/files
systemctl start docker

# 3. 管理机:使用 RKE 重建该节点组件
rke up --config cluster.yml

# 4. 恢复节点调度
kubectl uncordon rkenode2

6. 经验总结

  1. 迁移 Docker 数据目录的正确姿势:
    使用 rsync 迁移 Docker 目录时,必须加上 -X(保留 xattr)、-A(保留 ACL)和 -H(保留硬链接),否则会导致极难排查的权限和存储膨胀问题。
    正确的命令应该是:
  rsync -avXAH --numeric-ids /var/lib/docker/ /data/docker-data/
  1. 警惕误导性报错:
    port 80 is already in use 不一定真的是端口被占用,在容器环境下,权限不足(Permission denied)绑定特权端口失败时,也可能被应用抛出此类错误。排查时要结合 ss、nsenter 和 Linux Capabilities 综合分析。

7. 附:稳妥的三节点 RKE1 + Docker 目录迁移实战步骤

经过反复踩坑,以下是确保集群服务不中断、RKE 组件正常恢复的正确迁移步骤。核心原则是:逐台操作,先 drain 再停 Docker,杀残留进程,rsync 加完整参数,再执行 rke up 修复组件挂载。

7.1. 迁移前的准备(在管理机执行)

首先明确你操作的是哪个集群的上下文(例如生产集群 prod),并做一次 etcd 备份:

# 确认当前的 KUBECONFIG
export KUBECONFIG=/root/install/prod/kube_config_cluster.yml
kubectl cluster-info
kubectl get nodes -o wide

# 备份 etcd 数据
cd /root/install/prod
rke etcd snapshot-save --config cluster.yml --name pre-docker-data-move

7.2. 逐台节点进行迁移

⚠️ 警告:必须一台一台完成全流程(迁移、恢复 Ready),才能操作下一台,绝不可同时停止多台主机的 Docker!

假设当前操作的节点是 10.0.123.26:

Step 1: 驱逐节点(在管理机执行)

kubectl drain 10.0.123.26 --ignore-daemonsets --delete-emptydir-data --grace-period=60 --timeout=10m

注:--ignore-daemonsets 会让 DaemonSet Pod 继续保留在节点上,这是预期行为。

Step 2: 停止服务并清理进程(在目标节点 10.0.123.26 执行)

# 创建新数据目录
mkdir -p /data/docker-data

# 停止 Docker 及容器引擎相关服务
systemctl disable docker
systemctl stop docker

# 重启服务器,彻底清理进程
reboot

# 检查是否还有残留进程占用旧的 Docker 目录
lsof +D /var/lib/docker

# 在 RKE1 中,k8s 组件也是跑在容器里的。停止 Docker 后,如果lsof还有输出,需要强制杀掉它们以释放 /var/lib/docker 的占用
pkill -TERM -f 'etcd|kubelet|kube-proxy|kube-scheduler|kube-apiserver|kube-controller-manager|cri-dockerd|rke-etcd'
sleep 5

lsof +D /var/lib/docker

# 如果还有残留,再执行:

pkill -KILL -f 'etcd|kubelet|kube-proxy|kube-scheduler|kube-apiserver|kube-controller-manager|cri-dockerd|rke-etcd'

Step 3: 同步数据并修改 Docker 配置(在目标节点 10.0.123.26 执行)

# 使用带上权限、xattr 等所有元数据的参数进行数据同步
rsync -aHAXS --numeric-ids /var/lib/docker/ /data/docker-data/

# 修改或创建 daemon.json,设置 data-root
mkdir -p /etc/docker
vi /etc/docker/daemon.json
# 加入内容:
# {
#   "data-root": "/data/docker-data"
# }

# 重新加载并启动 Docker
systemctl daemon-reload
systemctl enable --now  docker

# 验证 Docker 数据目录是否已生效
docker info | grep "Docker Root Dir"
# 预期输出:Docker Root Dir: /data/docker-data

Step 4: 修复 RKE 组件并恢复节点(回到管理机执行)
迁移完数据后,RKE 组件的容器中仍记录着旧路径,可能会报类似 rewrite resolv.conf failed... does not exist 的错误。因此需要用 RKE 对账修复:

# 触发 RKE 集群对账,它会自动修复内部组件的挂载路径
cd /root/install/prod
rke up --config cluster.yml

# 恢复节点的调度状态
kubectl uncordon 10.0.123.26

# 观察节点是否 Ready,该节点上的 Pod 是否都恢复到 Running 状态
kubectl get nodes
kubectl get pods -A -o wide | grep 10.0.123.26

注:如果在对账后仍然有处于 Error 的 DaemonSet Pod,可强制删除这些异常 Pod(如 kubectl delete pod <pod-name> -n <ns> --force --grace-period=0)让其在新的目录下重建。

7.3. 循环上述操作

确认当前节点完全恢复并在运行业务后,对第二台(10.0.123.27)、第三台(10.0.123.28)重复执行 Step 1 ~ Step 4 的流程。

7.4. 收尾与清理

等 3 台节点全部迁移完毕、且集群在业务高峰期也运行稳定后,再去各节点清理旧数据。
注意先卸载可能残留的 overlay 挂载,防止误删导致 device busy 或影响实际运行容器:

# 检查是否有旧的 docker 挂载点
mount | grep '/var/lib/docker'

# 如有(比如 `/var/lib/docker.old/.../merged`),请先执行卸载:
mount | grep '/var/lib/docker' | awk '{print $3}' | sort -r | xargs -r umount -l

# 最后再删除旧数据目录
# rm -rf /var/lib/docker
# rm -rf /var/lib/docker.old