K8s 生产排障基本原则与快速定位流程

四大排查原则

1. 分层排查，从下往上

先看 Node 状态，再看 Pod 状态，最后看 应用日志。跳过底层基础设施直接看 Pod 内部容易误判。

2. 先看状态，再看日志

kubectl get pod 的 STATUS 列已能给出初步方向。CrashLoopBackOff 和 ImagePullBackOff 的处理路径完全不同。

3. 不要轻易重启

重启 Pod 会丢失现场，日志和事件信息会部分丢失。必须重启前先保存关键信息。

4. 生产操作必须备份配置

kubectl get deployment <name> -n <namespace> -o yaml > backup_<name>.yaml

快速定位五步法

分层排查法

• 集群层: kubectl get nodes, kubectl get events --all-namespaces
• 网络层: kubectl get svc,endpoints, kubectl get networkpolicy, Pod 内 ping/curl/nslookup
• 存储层: kubectl get pvc,pv, kubectl get storageclass
• 应用层: kubectl get pod -o yaml, kubectl logs, kubectl exec

常用调试技巧

# 实时观察
watch kubectl get pods -n <namespace>

# 查看 owner
kubectl get pod <name> -n <ns> -o jsonpath='{.metadata.ownerReferences}'

# 标签筛选
kubectl get pods -n <ns> -l 'app=myapp,tier=frontend'

# 回滚
kubectl rollout history deployment <name> -n <ns>
kubectl rollout undo deployment <name> -n <ns>

快速定位表

服务访问不通排查优先级

专门针对「K8s 服务访问不通（502/504/超时）」场景的排查优先级分层。

第一优先级（5 分钟内定位）

• Pod 是否 Running、Ready、日志是否正常
• Service 的 Endpoints 是否有关联的 Pod IP
• 从 Pod 内直接访问 Service IP（绕过 Ingress 和 NodePort）

第二优先级（5-15 分钟）

• kube-proxy 的 iptables/ipvs 规则是否正确生成
• CNI 插件是否正常（flannel.1 / calico* 接口是否存在）
• Ingress Controller 是否 Running、日志是否有 502/503 错误

第三优先级（15 分钟以上）

• DNS 解析是否正常（CoreDNS 日志、ndots 配置）
• NetworkPolicy 是否阻止了合法流量
• 跨节点网络路由是否正确（VPC/物理网络层）

排查口诀

先 Pod 再 Svc，EP 不为空则网络通；
Ingress 有问题先看日志，DNS 不通查 CoreDNS。

关联页面

关联页面