摘要(Excerpt):

一次 Kubernetes 集群中 worker-3 节点 Pod 访问 APIServer Service 10.96.0.1:443 超时的排查实战。文章从 Cilium 状态、eBPF Service 映射、Hubble 观测、Pod IP 异常一路定位,最终发现 Kubelet 启动参数缺失 --network-plugin=cni,导致 Pod 绕过 Cilium 走 Docker 默认网桥。适合遇到 Cilium、CNI、Pod 网络超时问题的运维和平台工程师参考。

背景:Pod 访问 Kubernetes API Service 超时

生产环境中有一个 Kubernetes 集群,版本为 v1.23.17,节点规模为 3 master + 3 worker,系统为 Ubuntu 20.04,容器运行时使用 Docker,网络插件使用 Cilium。

问题出现在 k8s-worker-3 上:调度到该节点的 Pod 访问 Kubernetes API Service 10.96.0.1:443 超时。典型报错如下:

Get "https://10.96.0.1:443/api/v1/namespaces/monitoring/secrets/kube-prometheus-stack-admission": dial tcp 10.96.0.1:443: i/o timeout

为了复现问题,先在 monitoring 命名空间强制创建一个测试 Pod 到 k8s-worker-3:

kubectl run api-test-worker3 \
  -n monitoring \
  --image=harbor.zspt.com/devops/library/busybox:1.31.1 \
  --restart=Never \
  --overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
  -- sleep 3600

kubectl -n monitoring exec api-test-worker3 -- wget -S -O- --timeout=5 https://10.96.0.1:443

结果是 wget: download timed out。为了避免故障节点继续承载新业务,先临时隔离节点:

kubectl cordon k8s-worker-3

10.96.0.1:443 是 Kubernetes 默认的 kubernetes Service。Pod 访问它失败,通常意味着该节点上的 Pod 网络、Service 转发、CNI 或底层路由存在问题。

第一轮排查:先排除 Cilium 和底层网络

排查 Cilium 问题时,不要一上来就重启所有组件。更稳妥的方式是先确认数据包到底卡在哪一层。

先获取 worker-3 上的 Cilium Pod:

CILIUM_POD=$(kubectl get pods -n kube-system -l k8s-app=cilium \
  --field-selector spec.nodeName=k8s-worker-3 \
  -o jsonpath='{.items[0].metadata.name}')

echo "$CILIUM_POD"

检查宿主机到 Master 的连通性

在 k8s-worker-3 宿主机上直接访问 3 台 Master 的 6443:

curl -k https://10.0.5.21:6443/healthz
curl -k https://10.0.5.22:6443/healthz
curl -k https://10.0.5.23:6443/healthz

输出均为 ok,说明 worker-3 宿主机到 Master 的物理网络、防火墙、安全组和 6443 端口都没有问题。

检查 Cilium 状态

kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium status

关键输出显示:

Kubernetes:              Ok   1.23 (v1.23.17)
KubeProxyReplacement:    Strict   [ens3 10.0.5.26]
Cilium:                  Ok   1.14.0
Controller Status:       20/20 healthy
Cluster health:          6/6 reachable

Cilium Agent 整体健康,控制器也全部正常。

检查 eBPF Service 映射

kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium service list

其中 10.96.0.1:443 的后端也正常:

26   10.96.0.1:443   ClusterIP   1 => 10.0.5.23:6443 (active)
                                  2 => 10.0.5.21:6443 (active)
                                  3 => 10.0.5.22:6443 (active)

这说明 Cilium 的 Service LB 映射没有丢。Pod 访问 10.96.0.1:443 时,理论上应该被 eBPF 转发到 3 台 Master 的 6443。

第二轮排查:用 tcpdump 和 Hubble 找到“临门一脚”

既然宿主机访问 Master 正常,Cilium 状态也正常,接下来要看流量有没有真正从 worker-3 出去,以及回包有没有回来。

在 Master 上抓包

在 k8s-master-1 上抓 worker-3 到 6443 的流量:

tcpdump -i any port 6443 and host 10.0.5.26 -n -v

同时在测试 Pod 里再次访问 10.96.0.1:443。

抓包结果显示,Master 收到了来自 10.0.5.26 的 SYN,并且回了 SYN-ACK:

10.0.5.26.45612 > 10.0.5.21.6443: Flags [S]
10.0.5.21.6443 > 10.0.5.26.45612: Flags [S.]

这一步非常关键:大网有去有回,SNAT 也生效了,回包已经到达 worker-3 宿主机。

用 Hubble 观察 Cilium 流量

kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- \
  hubble observe --pod api-test-default -f

观察到类似输出:

10.0.5.22:6443 (kube-apiserver) <> default/api-test-default:36952 (unmanaged) to-overlay FORWARDED (TCP Flags: SYN, ACK)

这里最刺眼的是 (unmanaged)。它意味着这个 Pod 没有被 Cilium 正常接管。换句话说,Cilium 看到了回包,却不知道这个 Pod 应该对应哪个受管 Endpoint。

关键线索:Cilium Endpoint 里没有业务 Pod

继续检查 Cilium Endpoint:

kubectl get ciliumendpoints -n default api-test-default

结果:

Error from server (NotFound): ciliumendpoints.cilium.io "api-test-default" not found

再看 Cilium Agent 本地认识哪些 Endpoint:

kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium endpoint list

输出里只有 host 和 health:

ENDPOINT   IDENTITY   LABELS            IPv4           STATUS
1263       1          reserved:host                    ready
1435       4          reserved:health   172.17.5.181   ready

这就解释了为什么回包到了宿主机,却进不了 Pod:Pod 虽然是 Running,但 Cilium 根本没有为它创建 Endpoint,也没有完整的 eBPF 路由和安全上下文。

起初怀疑是 Cilium Agent 与本地容器状态脱节,于是重启了 worker-3 上的 Cilium Pod,并重建测试 Pod:

kubectl delete pod -n kube-system "$CILIUM_POD"

NEW_CILIUM_POD=$(kubectl get pods -n kube-system -l k8s-app=cilium \
  --field-selector spec.nodeName=k8s-worker-3 \
  -o jsonpath='{.items[0].metadata.name}')

kubectl delete pod api-test-default -n default --force --grace-period=0

kubectl run api-test-default \
  -n default \
  --image=harbor.zspt.com/devops/library/busybox:1.31.1 \
  --restart=Never \
  --overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
  -- sleep 3600

kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium endpoint list

但新建 Pod 依然没有出现在 cilium endpoint list 里。到这里,问题已经不像是单纯的 Cilium Map 脏数据,而更像是 Kubelet 或容器运行时没有把 Pod 网络交给 Cilium CNI 处理。

真正的突破口:Pod 拿到了 Docker 默认网桥 IP

重启 k8s-worker-3 后,Cilium 恢复为 1/1 Running,状态也全绿:

kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium status

但是重新创建测试 Pod 后,发现它的 IP 不对:

kubectl get pod api-test-default-2 -n default -owide

输出:

NAME                 READY   STATUS    IP           NODE
api-test-default-2   1/1     Running   172.17.0.2   k8s-worker-3

而 worker-3 上 Cilium 的 IPAM 网段是 172.17.5.0/24。172.17.0.2 明显不是 Cilium 分配的 IP。

在 k8s-worker-3 上查看 Docker 默认网桥:

ip addr show docker0

输出:

3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0

这就破案了一半:Pod 没有走 Cilium,而是被 Docker 默认网桥 docker0 分配了 172.17.0.x 地址。

此时再看 Kubelet 日志:

journalctl -u kubelet --no-pager | grep -iE "cni|network" | tail -n 50

关键日志如下:

docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="kubernetes.io/no-op"

正常节点上的日志应该是:

docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="cni"

到这里根因彻底明确:k8s-worker-3 的 Kubelet 启动参数缺失了 --network-plugin=cni,导致 Kubelet 进入 kubernetes.io/no-op 网络模式,Pod 网络被 Docker 默认 bridge 接管,绕过了 Cilium。

核心修复:给 Kubelet 补回 CNI 参数

这个集群是 Kubernetes v1.23.17,仍在使用内置 dockershim,没有独立的 cri-dockerd 服务。因此修复点不在 cri-docker.service,而在 Kubelet 参数文件。

在 k8s-worker-3 上查看 Kubelet 参数:

cat /var/lib/kubelet/kubeadm-flags.env

编辑该文件:

vim /var/lib/kubelet/kubeadm-flags.env

在 KUBELET_KUBEADM_ARGS 中补上 CNI 参数。核心参数是:

--network-plugin=cni

建议同时确认 CNI 二进制和配置目录:

--network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d

修改后重载并重启 Kubelet:

systemctl daemon-reload
systemctl restart kubelet

确认 Kubelet 已经重新使用 CNI:

journalctl -u kubelet --no-pager | grep -i "networkPluginName" | tail -n 5

期望看到:

networkPluginName="cni"

实际修复后日志中也确实出现了:

Jun 09 16:18:14 k8s-worker-3 kubelet[10586]: docker_service.go:258] "Docker cri networking managed by the network plugin" networkPluginName="cni"

验证:Pod 回到 Cilium 网段,访问 APIServer 成功

删除旧测试 Pod,重新创建一个新的:

kubectl delete pod api-test-default-2 -n default --force --grace-period=0

kubectl run api-test-default-3 \
  -n default \
  --image=harbor.zspt.com/devops/library/busybox:1.31.1 \
  --restart=Never \
  --overrides='{"spec":{"nodeName":"k8s-worker-3"}}' \
  -- sleep 3600

查看 Pod IP:

kubectl get pod api-test-default-3 -n default -owide

输出:

NAME                 READY   STATUS    IP            NODE
api-test-default-3   1/1     Running   172.17.5.28   k8s-worker-3

172.17.5.28 正是 worker-3 上 Cilium 管理的 172.17.5.0/24 网段。

再检查 Cilium Endpoint:

kubectl exec -n kube-system "$NEW_CILIUM_POD" -c cilium-agent -- cilium endpoint list

可以看到新 Pod 已被 Cilium 正常接管:

2559   Disabled   Disabled   21760   k8s:run=api-test-default-3   172.17.5.28   ready

最后复测最初的问题:

kubectl -n default exec api-test-default-3 -- wget -S -O- --timeout=5 https://10.96.0.1:443

输出:

Connecting to 10.96.0.1:443 (10.96.0.1:443)
wget: note: TLS certificate validation not implemented
  HTTP/1.1 403 Forbidden
wget: server returned error: HTTP/1.1 403 Forbidden

这里的 403 Forbidden 不是故障,而是成功信号。它说明 Pod 已经能访问到 Kubernetes API Server,只是因为 wget 没有携带合法的 ServiceAccount Token,所以被 API Server 拒绝。

网络不通时通常是 timeout、No route to host 或 connection refused。能拿到 403 Forbidden,说明 TCP、TLS、Service 转发和回包路径都已经打通。

踩坑与避坑指南

坑一:Cilium 状态全绿,不代表 Pod 一定走了 Cilium

本次排查中,cilium status 一直显示健康,cilium service list 里的 10.96.0.1:443 映射也完全正确。但问题仍然存在,因为业务 Pod 压根没有进入 Cilium 的 Endpoint 管理。

判断 Pod 是否真的走 Cilium,最直接的命令是:

kubectl exec -n kube-system "$CILIUM_POD" -c cilium-agent -- cilium endpoint list

如果列表里只有 reserved:host 和 reserved:health,而没有业务 Pod,就要警惕 CNI 调用链路断裂。

坑二:Pod 是 Running,不代表网络配置正确

故障 Pod 是 Running,但它拿到的是 172.17.0.2。这个地址来自 Docker 默认网桥 docker0,不是 Cilium IPAM。

定位这类问题时,不要只看 Pod 状态,还要看 Pod IP 是否落在该节点 CNI 预期的 PodCIDR 或 IPAM 网段内。

kubectl get pod <pod-name> -n <namespace> -owide
ip addr show docker0

坑三:不要在错误节点上查 CNI 配置

排查过程中曾经在 Master 上看了 /etc/cni/net.d/ 和 Kubelet 日志,但问题节点是 k8s-worker-3。这类节点级网络问题,一定要登录到故障节点本机确认。

正确姿势是:

ssh root@k8s-worker-3

ls -la /etc/cni/net.d/
journalctl -u kubelet --no-pager | grep -iE "cni|network" | tail -n 50

坑四:networkPluginName="kubernetes.io/no-op" 是致命信号

在 Kubernetes v1.23 + Docker/dockershim 场景下,如果 Kubelet 日志里出现:

networkPluginName="kubernetes.io/no-op"

基本就说明 Kubelet 没有启用 CNI 网络插件。正确状态应为:

networkPluginName="cni"

对应修复通常是补上:

--network-plugin=cni

坑五:403 Forbidden 是 APIServer 连通性测试中的好结果

用 BusyBox wget 直接访问 https://10.96.0.1:443,没有带 Token,被 APIServer 返回 403 Forbidden 是正常现象。

这说明网络链路已经通了。真正需要警惕的是:

wget: download timed out
No route to host
Connection refused

坑六:cordon 和 drain 不会因为重启自动恢复

如果维护前执行过:

kubectl cordon k8s-worker-3
kubectl drain k8s-worker-3 --delete-emptydir-data --ignore-daemonsets --force

宿主机重启后,Kubernetes 不会自动解除不可调度状态。需要确认节点 Ready 后手动恢复:

kubectl get nodes
kubectl uncordon k8s-worker-3

恢复后,kubectl get nodes 中该节点应从 Ready,SchedulingDisabled 变回 Ready。

总结

这次故障表面上是 Pod 访问 10.96.0.1:443 超时,容易让人第一时间怀疑 Cilium eBPF、Service LB、MTU 或底层网络。但真正的根因是 k8s-worker-3 的 Kubelet 启动参数缺失 --network-plugin=cni,导致 Pod 绕过 Cilium,直接走 Docker 默认网桥 docker0。

最终修复路径很清晰:补回 Kubelet 的 CNI 参数,重启 Kubelet,重建旧 Pod,确认新 Pod 拿到 Cilium 网段 IP,并通过 403 Forbidden 验证 APIServer 双向连通性。

以后遇到类似问题,可以优先检查三件事:Pod IP 是否属于 CNI 网段、cilium endpoint list 是否包含业务 Pod、Kubelet 日志里的 networkPluginName 是否为 cni。 这三个点通常能快速把排查范围从“网络玄学”收敛到真正的配置问题。