摘要(Excerpt):
一次 Kubernetes 集群中 worker-3 节点 Pod 访问 APIServer Service 10.96.0.1:443 超时的排查实战。文章从 Cilium 状态、eBPF Service 映射、Hubble 观测、Pod IP 异常一路定位,最终发现 Kubelet 启动参数缺失 --network-plugin=cni,导致 Pod 绕过 Cilium 走 Docker 默认网桥。适合遇到 Cilium、CNI、Pod 网络超时问题的运维和平台工程师参考。
背景:Pod 访问 Kubernetes API Service 超时
生产环境中有一个 Kubernetes 集群,版本为 v1.23.17,节点规模为 3 master + 3 worker,系统为 Ubuntu 20.04,容器运行时使用 Docker,网络插件使用 Cilium。
问题出现在 k8s-worker-3 上:调度到该节点的 Pod 访问 Kubernetes API Service 10.96.0.1:443 超时。典型报错如下:
Get "https://10.96.0.1:443/api/v1/namespaces/monitoring/secrets/kube-prometheus-stack-admission": dial tcp 10.96.0.1:443: i/o timeout
为了复现问题,先在 monitoring 命名空间强制创建一个测试 Pod 到 k8s-worker-3:
kubectl run api-test-worker3 \
-n monitoring \
--image=harbor.zspt.com/devops/library/busybox:1.31.1 \
--restart=Never \
--overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
-- sleep 3600
kubectl -n monitoring exec api-test-worker3 -- wget -S -O- --timeout=5 https://10.96.0.1:443
结果是 wget: download timed out。为了避免故障节点继续承载新业务,先临时隔离节点:
kubectl cordon k8s-worker-3
10.96.0.1:443是 Kubernetes 默认的kubernetesService。Pod 访问它失败,通常意味着该节点上的 Pod 网络、Service 转发、CNI 或底层路由存在问题。
第一轮排查:先排除 Cilium 和底层网络
排查 Cilium 问题时,不要一上来就重启所有组件。更稳妥的方式是先确认数据包到底卡在哪一层。
先获取 worker-3 上的 Cilium Pod:
CILIUM_POD=$(kubectl get pods -n kube-system -l k8s-app=cilium \
--field-selector spec.nodeName=k8s-worker-3 \
-o jsonpath='{.items[0].metadata.name}')
echo "$CILIUM_POD"
检查宿主机到 Master 的连通性
在 k8s-worker-3 宿主机上直接访问 3 台 Master 的 6443:
curl -k https://10.0.5.21:6443/healthz
curl -k https://10.0.5.22:6443/healthz
curl -k https://10.0.5.23:6443/healthz
输出均为 ok,说明 worker-3 宿主机到 Master 的物理网络、防火墙、安全组和 6443 端口都没有问题。
检查 Cilium 状态
kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium status
关键输出显示:
Kubernetes: Ok 1.23 (v1.23.17)
KubeProxyReplacement: Strict [ens3 10.0.5.26]
Cilium: Ok 1.14.0
Controller Status: 20/20 healthy
Cluster health: 6/6 reachable
Cilium Agent 整体健康,控制器也全部正常。
检查 eBPF Service 映射
kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium service list
其中 10.96.0.1:443 的后端也正常:
26 10.96.0.1:443 ClusterIP 1 => 10.0.5.23:6443 (active)
2 => 10.0.5.21:6443 (active)
3 => 10.0.5.22:6443 (active)
这说明 Cilium 的 Service LB 映射没有丢。Pod 访问 10.96.0.1:443 时,理论上应该被 eBPF 转发到 3 台 Master 的 6443。
第二轮排查:用 tcpdump 和 Hubble 找到“临门一脚”
既然宿主机访问 Master 正常,Cilium 状态也正常,接下来要看流量有没有真正从 worker-3 出去,以及回包有没有回来。
在 Master 上抓包
在 k8s-master-1 上抓 worker-3 到 6443 的流量:
tcpdump -i any port 6443 and host 10.0.5.26 -n -v
同时在测试 Pod 里再次访问 10.96.0.1:443。
抓包结果显示,Master 收到了来自 10.0.5.26 的 SYN,并且回了 SYN-ACK:
10.0.5.26.45612 > 10.0.5.21.6443: Flags [S]
10.0.5.21.6443 > 10.0.5.26.45612: Flags [S.]
这一步非常关键:大网有去有回,SNAT 也生效了,回包已经到达 worker-3 宿主机。
用 Hubble 观察 Cilium 流量
kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- \
hubble observe --pod api-test-default -f
观察到类似输出:
10.0.5.22:6443 (kube-apiserver) <> default/api-test-default:36952 (unmanaged) to-overlay FORWARDED (TCP Flags: SYN, ACK)
这里最刺眼的是 (unmanaged)。它意味着这个 Pod 没有被 Cilium 正常接管。换句话说,Cilium 看到了回包,却不知道这个 Pod 应该对应哪个受管 Endpoint。
关键线索:Cilium Endpoint 里没有业务 Pod
继续检查 Cilium Endpoint:
kubectl get ciliumendpoints -n default api-test-default
结果:
Error from server (NotFound): ciliumendpoints.cilium.io "api-test-default" not found
再看 Cilium Agent 本地认识哪些 Endpoint:
kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium endpoint list
输出里只有 host 和 health:
ENDPOINT IDENTITY LABELS IPv4 STATUS
1263 1 reserved:host ready
1435 4 reserved:health 172.17.5.181 ready
这就解释了为什么回包到了宿主机,却进不了 Pod:Pod 虽然是 Running,但 Cilium 根本没有为它创建 Endpoint,也没有完整的 eBPF 路由和安全上下文。
起初怀疑是 Cilium Agent 与本地容器状态脱节,于是重启了 worker-3 上的 Cilium Pod,并重建测试 Pod:
kubectl delete pod -n kube-system "$CILIUM_POD"
NEW_CILIUM_POD=$(kubectl get pods -n kube-system -l k8s-app=cilium \
--field-selector spec.nodeName=k8s-worker-3 \
-o jsonpath='{.items[0].metadata.name}')
kubectl delete pod api-test-default -n default --force --grace-period=0
kubectl run api-test-default \
-n default \
--image=harbor.zspt.com/devops/library/busybox:1.31.1 \
--restart=Never \
--overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
-- sleep 3600
kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium endpoint list
但新建 Pod 依然没有出现在 cilium endpoint list 里。到这里,问题已经不像是单纯的 Cilium Map 脏数据,而更像是 Kubelet 或容器运行时没有把 Pod 网络交给 Cilium CNI 处理。
真正的突破口:Pod 拿到了 Docker 默认网桥 IP
重启 k8s-worker-3 后,Cilium 恢复为 1/1 Running,状态也全绿:
kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium status
但是重新创建测试 Pod 后,发现它的 IP 不对:
kubectl get pod api-test-default-2 -n default -owide
输出:
NAME READY STATUS IP NODE
api-test-default-2 1/1 Running 172.17.0.2 k8s-worker-3
而 worker-3 上 Cilium 的 IPAM 网段是 172.17.5.0/24。172.17.0.2 明显不是 Cilium 分配的 IP。
在 k8s-worker-3 上查看 Docker 默认网桥:
ip addr show docker0
输出:
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500
inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
这就破案了一半:Pod 没有走 Cilium,而是被 Docker 默认网桥 docker0 分配了 172.17.0.x 地址。
此时再看 Kubelet 日志:
journalctl -u kubelet --no-pager | grep -iE "cni|network" | tail -n 50
关键日志如下:
docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="kubernetes.io/no-op"
正常节点上的日志应该是:
docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="cni"
到这里根因彻底明确:k8s-worker-3 的 Kubelet 启动参数缺失了 --network-plugin=cni,导致 Kubelet 进入 kubernetes.io/no-op 网络模式,Pod 网络被 Docker 默认 bridge 接管,绕过了 Cilium。
核心修复:给 Kubelet 补回 CNI 参数
这个集群是 Kubernetes v1.23.17,仍在使用内置 dockershim,没有独立的 cri-dockerd 服务。因此修复点不在 cri-docker.service,而在 Kubelet 参数文件。
在 k8s-worker-3 上查看 Kubelet 参数:
cat /var/lib/kubelet/kubeadm-flags.env
编辑该文件:
vim /var/lib/kubelet/kubeadm-flags.env
在 KUBELET_KUBEADM_ARGS 中补上 CNI 参数。核心参数是:
--network-plugin=cni
建议同时确认 CNI 二进制和配置目录:
--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d
修改后重载并重启 Kubelet:
systemctl daemon-reload
systemctl restart kubelet
确认 Kubelet 已经重新使用 CNI:
journalctl -u kubelet --no-pager | grep -i "networkPluginName" | tail -n 5
期望看到:
networkPluginName="cni"
实际修复后日志中也确实出现了:
Jun 09 16:18:14 k8s-worker-3 kubelet[10586]: docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="cni"
验证:Pod 回到 Cilium 网段,访问 APIServer 成功
删除旧测试 Pod,重新创建一个新的:
kubectl delete pod api-test-default-2 -n default --force --grace-period=0
kubectl run api-test-default-3 \
-n default \
--image=harbor.zspt.com/devops/library/busybox:1.31.1 \
--restart=Never \
--overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
-- sleep 3600
查看 Pod IP:
kubectl get pod api-test-default-3 -n default -owide
输出:
NAME READY STATUS IP NODE
api-test-default-3 1/1 Running 172.17.5.28 k8s-worker-3
172.17.5.28 正是 worker-3 上 Cilium 管理的 172.17.5.0/24 网段。
再检查 Cilium Endpoint:
kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium endpoint list
可以看到新 Pod 已被 Cilium 正常接管:
2559 Disabled Disabled 21760 k8s:run=api-test-default-3 172.17.5.28 ready
最后复测最初的问题:
kubectl -n default exec api-test-default-3 -- wget -S -O- --timeout=5 https://10.96.0.1:443
输出:
Connecting to 10.96.0.1:443 (10.96.0.1:443)
wget: note: TLS certificate validation not implemented
HTTP/1.1 403 Forbidden
wget: server returned error: HTTP/1.1 403 Forbidden
这里的 403 Forbidden 不是故障,而是成功信号。它说明 Pod 已经能访问到 Kubernetes API Server,只是因为 wget 没有携带合法的 ServiceAccount Token,所以被 API Server 拒绝。
网络不通时通常是
timeout、No route to host或connection refused。能拿到403 Forbidden,说明 TCP、TLS、Service 转发和回包路径都已经打通。
踩坑与避坑指南
坑一:Cilium 状态全绿,不代表 Pod 一定走了 Cilium
本次排查中,cilium status 一直显示健康,cilium service list 里的 10.96.0.1:443 映射也完全正确。但问题仍然存在,因为业务 Pod 压根没有进入 Cilium 的 Endpoint 管理。
判断 Pod 是否真的走 Cilium,最直接的命令是:
kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium endpoint list
如果列表里只有 reserved:host 和 reserved:health,而没有业务 Pod,就要警惕 CNI 调用链路断裂。
坑二:Pod 是 Running,不代表网络配置正确
故障 Pod 是 Running,但它拿到的是 172.17.0.2。这个地址来自 Docker 默认网桥 docker0,不是 Cilium IPAM。
定位这类问题时,不要只看 Pod 状态,还要看 Pod IP 是否落在该节点 CNI 预期的 PodCIDR 或 IPAM 网段内。
kubectl get pod <pod-name> -n <namespace> -owide
ip addr show docker0
坑三:不要在错误节点上查 CNI 配置
排查过程中曾经在 Master 上看了 /etc/cni/net.d/ 和 Kubelet 日志,但问题节点是 k8s-worker-3。这类节点级网络问题,一定要登录到故障节点本机确认。
正确姿势是:
ssh root@k8s-worker-3
ls -la /etc/cni/net.d/
journalctl -u kubelet --no-pager | grep -iE "cni|network" | tail -n 50
坑四:networkPluginName="kubernetes.io/no-op" 是致命信号
在 Kubernetes v1.23 + Docker/dockershim 场景下,如果 Kubelet 日志里出现:
networkPluginName="kubernetes.io/no-op"
基本就说明 Kubelet 没有启用 CNI 网络插件。正确状态应为:
networkPluginName="cni"
对应修复通常是补上:
--network-plugin=cni
坑五:403 Forbidden 是 APIServer 连通性测试中的好结果
用 BusyBox wget 直接访问 https://10.96.0.1:443,没有带 Token,被 APIServer 返回 403 Forbidden 是正常现象。
这说明网络链路已经通了。真正需要警惕的是:
wget: download timed out
No route to host
Connection refused
坑六:cordon 和 drain 不会因为重启自动恢复
如果维护前执行过:
kubectl cordon k8s-worker-3
kubectl drain k8s-worker-3 --delete-emptydir-data --ignore-daemonsets --force
宿主机重启后,Kubernetes 不会自动解除不可调度状态。需要确认节点 Ready 后手动恢复:
kubectl get nodes
kubectl uncordon k8s-worker-3
恢复后,kubectl get nodes 中该节点应从 Ready,SchedulingDisabled 变回 Ready。
总结
这次故障表面上是 Pod 访问 10.96.0.1:443 超时,容易让人第一时间怀疑 Cilium eBPF、Service LB、MTU 或底层网络。但真正的根因是 k8s-worker-3 的 Kubelet 启动参数缺失 --network-plugin=cni,导致 Pod 绕过 Cilium,直接走 Docker 默认网桥 docker0。
最终修复路径很清晰:补回 Kubelet 的 CNI 参数,重启 Kubelet,重建旧 Pod,确认新 Pod 拿到 Cilium 网段 IP,并通过 403 Forbidden 验证 APIServer 双向连通性。
以后遇到类似问题,可以优先检查三件事:Pod IP 是否属于 CNI 网段、cilium endpoint list 是否包含业务 Pod、Kubelet 日志里的 networkPluginName 是否为 cni。 这三个点通常能快速把排查范围从“网络玄学”收敛到真正的配置问题。