搜索结果: "container"

title: 容器网络排障 6 层模型 — K8s/Docker/containerd 统一排查体系

tags: [kubernetes, networking, troubleshooting, docker, debugging, performance, container]

sources: [raw/articles/container-networking-troubleshooting-6-layer.md]

绝大多数容器网络不通并不是网络真的坏了，而是链路上某一层状态与预期不一致。本模型将容器网络拆成 **6 层**，每层只问一个问题，覆盖 K8s/Docker/containerd 三类环境。

无论 Docker 还是 containerd，本质都一样：容器在独立 netns 里，与宿主机通过 veth pair 连接，主机侧接网桥（docker0/cni0），再通过路由/NAT 出去。

tags: [docker, container, troubleshooting, security, production, networking, debugging]

ls -lh /var/lib/docker/containers/*/*-json.log

docker inspect <container-id> | grep -E "OOMKilled|ExitCode|State"

docker stats <container-id> --no-stream

| [[container-networking-troubleshooting]] | 容器网络排障 6 层模型（Docker bridge 网络是第 ②~⑤ 层） |

### 标准解决模式：initContainer + emptyDir

2. **initContainer** — 把 ConfigMap 内容复制到 emptyDir

initContainers:

containers:

> 链路：ConfigMap → initContainer（复制）→ emptyDir → 主容器

tags: [kubernetes, deployment, architecture, build, networking, storage, monitoring, configmap, security, certificate, docker, container]

containers:

- containerPort: 8080

- containerPort: 50000

containers:

Container Limit = Heap + Metaspace + Direct Memory + Thread Stack

| Container Limit | 4096Mi | Pod resources.limits.memory |

-XX:+UseContainerSupport # 容器感知（JDK 10+ 默认开启）

| Container OOMKill | Pod 状态 OOMKilled | RSS 超 cgroup 上限 |

kubectl get pod -o jsonpath='{.status.containerStatuses[0].lastState.terminated.reason}'

containers:

- containerPort: 8080

containers:

- containerPort: 80

containers:

- type: Container

kubectl top pod -n --containers

CPU_REQ:.spec.containers[0].resources.requests.cpu,\

MEM_REQ:.spec.containers[0].resources.requests.memory

- [[jvm-container-oom-offheap-troubleshooting]] — JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKi

PodA → ClusterIP:ServicePort → kube-proxy (iptables/ipvs) → EndpointIP:ContainerPort → PodB

外部客户端 → NodeIP:NodePort → kube-proxy → EndpointIP:ContainerPort → PodB

# - CreateContainerConfigError: 配置错误（ConfigMap/Secret）

kubectl logs -n -c <container-name>

wget -qO- http://127.0.0.1:<container-port>/healthz

3. 检查容器运行时（containerd/docker / crictl）

| 容器运行时连接失败 | `failed to load Kubelet config file` / `context deadline exceeded` | 检查 kubelet 的 `--container-runtime-endpoint` 和 containerd 配置是否一致 |

### containerd 排查

# 查看 containerd 服务状态

sudo systemctl status containerd

-o jsonpath='{.spec.containers[*].resources}'

-o jsonpath='{.spec.containers[*].livenessProbe}'

- **OOMKilled:** 增大 memory limits 或优化应用内存（Java 容器注意：`-Xmx` 设置 + 元空间/线程栈/直接内存等额外开销总和 < container limits）

# 或 (containerd)

# 查看 Pod Events 中的 CreateContainerConfigError

- `container_cpu_usage_seconds_total` — 容器 CPU 使用量

- `container_cpu_cfs_throttled_periods_total` — CPU 限流次数

rate(container_cpu_cfs_throttled_periods_total[5m])

/ rate(container_cpu_cfs_periods_total[5m]) > 0.25

rate(container_cpu_usage_seconds_total[5m])

## [2026-05-21] ingest | 容器网络排障 6 层模型：K8s/Docker/containerd 统一排查体系

|- Created raw: raw/articles/container-networking-troubleshooting-6-layer.md（4890 字）

|- Created concept: concepts/kubernetes/container-networking-troubleshooting.md

|- 新增页面: container-networking-troubleshooting（5 条出链 ✓，全部合规）

| 2026-05-29 11:17 | create | jvm-container-oom-offheap-troubleshooting | tags: kubernetes,java,troubleshooting,memory,container,performance | source: 蹦跶的小羊 2026-05-21 | P2 auto-publish, 6 cross-refs |

│ │ Kubelet │ │Kube-proxy│ │Container │ │

| **Container Runtime** | 容器运行时（containerd/CRI-O），实际运行容器 |

containers:

containers:

> 🔙 **回滚：** 如果是新版镜像导致的，快速 `kubectl set image deployment/ <container>=` 回退版本。

| containerd 日志 | `journalctl -u containerd --no-pager \| grep ` | 看具体错误（超时/证书/权限） |

| `manifest unknown` | 镜像 tag 不存在 | `kubectl set image deployment/ <container>=` |

- [[container-networking-troubleshooting]] — 容器网络排障 6 层模型（快速识别网络故障层级）

tags: [docker, image, container, build, deployment, security]

--label "org.opencontainers.image.version=${VERSION}" \

--label "org.opencontainers.image.revision=$(git rev-parse HEAD)" \

-o jsonpath='{.spec.containers[*].resources.limits.memory}'

- type: Container

- [[jvm-container-oom-offheap-troubleshooting]] — JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKi

- [[configmap-mount-pitfalls]] — ConfigMap 挂载踩坑：符号链接只读/热更新/initContainer+emptyDir 标准模式

- [[container-networking-troubleshooting]] — 容器网络排障 6 层模型：K8s/Docker/containerd 统一排查体系（分层定位 + 30 秒速查 + 案例复盘）

- [[jvm-container-oom-offheap-troubleshooting]] — JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKilled 的排障指南

| 53 | SELinux/AppArmor 在 K8s 中？ | 强制访问控制(MAC)限制 Pod 权限，防止容器逃逸。container_t 最小权限 + 禁止 privileged + auditd 监控 | — |

| 54 | containerd 与内核交互？ | 镜像拉取 → overlay2 解压 → runc clone+namespace 创建 → execve 启动 init 进程。故障排查：journalctl + 内核模块 + overlay2 支持 | — |

tags: [kubernetes, java, troubleshooting, memory, container, performance]

-XX:+UseContainerSupport # Java 10+ 默认开启，确认即可

详见 [[jvm-container-oom-offheap-troubleshooting]]。

- [[jvm-container-oom-offheap-troubleshooting]] — JVM 容器 OOM 排障（堆外内存）

kubectl top pod -A --containers | head -30

sum by(pod, namespace) (rate(container_cpu_cfs_throttled_periods_total[5m])) > 20

容器内 JVM 正确识别 cgroup 限制（`-XX:+UseContainerSupport`，Java 10+ 默认开启）。

| [[jvm-container-oom-offheap-troubleshooting]] | JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKi |

container_memory_pressure > 20

- [[jvm-container-oom-offheap-troubleshooting]] — JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKi

- container: 容器技术通用

tags: [docker, image, build, golang, container]

| ⑤ cgroup v2 兼容性 | `docker_container` 模块异常 | Ubuntu 24 默认 cgroup v2，旧 Docker 不兼容 | 升级 Docker 或切回 cgroup v1 |

- [[container-networking-troubleshooting]] — 容器网络排障 6 层模型（K8s/Docker/containerd 统一排查体系，补充容器网络维度）

| Container | 镜像的运行实例 |

| 23 | Init Containers？ | 主容器启动前运行的初始化任务容器 | — |

| [[container-networking-troubleshooting]] | 容器网络排障 6 层模型（负载均衡属于第 ③-⑥ 层） |

containers:

# spec.tolerations, spec.containers[].resources, status.conditions

containers:

**现象:** Pod 处于 ContainerCreating，describe 显示卷挂载失败。

- 容器环境需先进入：`docker exec -it container_id jstack PID`

- [[container-networking-troubleshooting]] — 容器网络排障 6 层模型（rp_filter/ip_forward 参数实战场景）

| [[jvm-container-oom-offheap-troubleshooting]] | JVM 堆外内存（DirectByteBuffer/Metaspace/线程栈）导致容器 OOMKi |