Kubernetes性能优化：9个性能优化 | 运维成本降低

▌ 技术引导 我见过最惨的Kubernetes性能问题就是资源争抢，CPU和内存不争抢不行，容器之间互相拖后腿，整个集群像被憋死的狗一样挣扎。直接上干货，性能优化的关键在于精准控制资源分配、减少调度开销、优化网络架构、做好持久化存储调优、避免热迁移、提升调度器智能、降级系统日志、容器运行时优化、利用缓存机制。这些点不是随便说说，我真踩过坑，比如用kubeadm搭建的集群，不设置--max-container-per-pod参数，会导致调度器疯狂打转，连pod都拉不出来。 要想把Kubernetes调到极致，得从底层开始下手。比如kubelet的--housekeeping-interval参数，调小它能减少资源检查频率，但可能增加内存压力。还有kube-proxy的ipvs模式，特别适合大集群，但得确保内核版本支持。我见过有人把cgroup v2迁移到v1，结果系统时不时卡顿，运维成本翻倍。所以得懂这些参数和机制的边界条件。 更关键的是持久化存储，比如使用rook-ceph，我之前没合理配置storageclass的reclaimPolicy，导致磁盘空间被占满，整个集群无法扩展。正确的做法是结合pv和pvc的生命周期管理，千万别乱用default存储。另外，网络方面别用flannel，至少在大集群里，calico或者cilium会更稳定。 总的说来，性能优化不是一蹴而就的，得持续监控，得知道每个组件的底线。比如使用heapster和metrics-server，我之前没搞懂它们的采集频率和资源限制，结果监控数据延迟严重，根本没法做调优决策。 最后，别忘了容器运行时优化，比如用containerd而不是docker，性能提升明显，但得更新到2025年后的版本才能支持某些高级功能。 ▌ 技术参考 一 优化资源限制与请求 在Kubernetes中容器的资源请求和限制是性能调优的基础，一个没设置好的CPU或内存请求会让调度器陷入疯狂。比如，如果你部署了一个Web应用，但没设置--requests和--limits，会导致节点资源被过度消耗，甚至触发OOM。正确的方式是用kubectl describe pod查看当前资源使用情况，再用kubectl edit pod修改资源请求。比如在Deployment中设置resources字段，用--requests=cpu=500m,内存=512Mi和--limits=cpu=1,内存=1Gi，比默认更精准。实际测试中，我见过请求设置过低会导致节点频繁evict容器，反而影响性能。 二 使用高效的网络插件 网络是Kubernetes性能的隐形杀手，选错插件后果很严重。flannel虽然简单，但在大规模集群中表现一般，尤其在跨节点通信时延迟高。而calico和cilium在2024年后的版本中明显更稳定，cilium甚至自带eBPF优化，能减少路由表的规模。在部署时，我习惯用kubectl apply -f calico.yaml并设置--ipam=host-local，这样能规避IP分配冲突。另外，如果使用ipvs模式，得确保内核支持，一般在4.14以上版本可用，但别忘了在kube-proxy中开启--enable-ipvs。 三 调度器优化与节点标签 默认调度器有时候会犯低级错误，比如把大量pod调度到一个节点上，导致资源争抢。解决办法是添加nodeSelector和taint，比如在Deployment中设置nodeSelector: {disk: ssd}，然后给节点打标签。我之前不小心把一个数据库和应用都打上了相同的标签，结果中间节点全挤满了，系统直接崩溃。更好的办法是用kubectl taint node =:NoSchedule，这样能限制某些类型pod的调度。另外，使用--kubeconfig指定调度器的配置，比如设置--feature-gates=ExperimentalBlockAllPortLocal=true，能避免不必要的端口冲突。 四 容器运行时优化 容器运行时是Kubernetes的底层，选对能大幅提升性能。docker虽然普及，但containerd在2024年后的版本表现更稳定，尤其在高并发场景下。我之前在一台物理机上用docker部署了300个pod，发现经常有容器启动失败，因为docker的cgroup管理不够精细。改成containerd后，启动时间从5秒缩短到2秒。另外，containerd支持--snapshotter=overlay2，比默认的aufs快很多，尤其在高I/O场景下。还可以用runc作为运行时，但别和containerd混用，否则会出问题。 五 避免热迁移与调度延迟 热迁移是性能优化的大忌，尤其在高负载下。我之前用kubectl move pod命令迁移一个关键服务，结果导致集群调度器卡顿，甚至有pod被强制驱逐。解决办法是关闭--enable-structured-logging和--disable-legacy-apiserver，这样能减少调度延迟。在node的spec中设置evictionThreshold: memory.available<100Mi，这样pod在内存不足时能被合理驱逐，而不是卡死。另外，如果使用Kubelet的--eviction-hard参数，得合理设置，比如memory.available<100Mi，而不是直接设置为0。 六 利用缓存机制提升读写效率 缓存是性能优化的利器，尤其是在数据密集型应用。比如在Kubernetes中部署一个数据库，如果使用rook-ceph作为存储，记得设置--cache-size参数，比如ceph-osd的--cache-size=1024MB。我之前没注意到这个参数，结果磁盘写入速度慢到离谱，数据库都卡住了。另外，用etcd时可以加--snapshot-count=100000，这样能减少写入压力，提升查询效率。对于应用层面，比如用Nginx做反向代理，别忘了开启--proxy-buffering和--proxy-cache，这样能提升静态内容的加载速度。 七 优化系统日志与监控 系统日志是性能优化的绊脚石，特别是日志量大的时候，会拖慢整个集群。我之前用kubectl log命令查看日志，结果整个集群的CPU被日志采集进程吃垮。解决办法是用fluentd和Prometheus配合，设置--log-rotate-size=100M，--log-rotate-time=24h，避免日志文件过大。另外，使用--log-format=json能让日志更易分析，但千万别在生产环境里开--log-verbose，否则系统会疯狂输出调试信息，影响性能。 八 使用高效的持久化存储方案 持久化存储是Kubernetes性能的另一大痛点，尤其是使用rook-ceph时。我之前在部署ceph时没设置--storage-class-name，导致存储类别混乱，应用无法正确挂载。正确的方式是设置storageclass的reclaimPolicy为Retain，比如在ceph的配置中添加reclaimPolicy: Retain，这样能避免数据丢失。另外，使用ceph的--image=ceph/ceph-volume:latest，能确保存储卷管理更稳定。如果用Kubernetes的volumeSnapshot，记得用--snapshot-class参数指定，否则会出错。 九 配置Kubelet的资源管理和自动清理 Kubelet的资源管理参数很多，比如housekeeping-interval和--cgroup-driver。我之前用--cgroup-driver=cgroupfs，结果发现某些容器无法正确分配资源，导致调度失败。改成--cgroup-driver=systemd后，容器资源分配更精确，但得确保系统支持systemd。另外，housekeeping-interval这个参数调小到10s，能提升资源清理速度，但不要调到太小，否则会增加CPU负担。如果用--eviction-threshold参数，记住要搭配--eviction-hard，比如设置memory.available<100Mi，而不是直接设置memory.available<0。 十 优化Kubernetes API Server性能 API Server是Kubernetes的中枢，如果它变慢，整个集群都会受影响。我之前没配置--max-requests-per-second=5000，结果API Server经常超载，导致kubectl命令卡顿。正确的方式是用--max-requests-per-second这个参数限制请求频率，同时启用--audit-log-path和--audit-log-maxage=10，避免审计日志过大。另外，使用--etcd-servers=http://127.0.0.1:2379和--storage-backend=etcd3，性能比sqlite好得多。如果用--anonymous-auth=false，能提升安全性，但别忘记添加--basic-auth-file参数。 十一 监控与调优的工具链选择 监控工具是性能调优的必需品，用错了工具会把问题复杂化。比如，在2025年后的集群中，使用Prometheus和Grafana配合，比heapster更稳定。我之前用heapster，结果监控数据延迟严重，根本没法做实时调优。关键配置项包括--scrape-interval=30s，--storage.tsdb.retention=14d，这样能保证数据准确和存储效率。对于日志，用Elasticsearch和Filebeat组合，比直接用kubectl logs更高效。记得设置--output=json，这样能方便后续处理。 十二 调整kubelet的系统参数 kubelet的系统参数调整对性能影响很大。比如，使用--max-pod=1000，能避免节点创建大量pod时的性能瓶颈。我之前在一台测试节点上没设置这个参数，结果创建150个pod后CPU直接飙到100%，导致整个集群调度器卡顿。另外，设置--max-objects=10000，能提升kubelet的管理效率，尤其是当集群中的资源很多时。还有--registry-mirror参数，比如用https://registry.docker-cn.com，能减少国外镜像的拉取时间，但记得在Deployment中设置pullPolicy为IfNotPresent，否则会重复拉取。 十三 管理和优化Pod的生命周期 Pod的生命周期管理是性能调优的重要一环。我之前没设置--termination-grace-period=30，结果pod被驱逐后，还卡在终止状态，导致节点资源无法回收。设置合理的时间能避免类似问题。另外，使用--prestop参数，比如在Deployment中设置preStop: ["/bin/sh", "-c", "echo 'Cleaning up...'"],能确保pod终止时执行清理操作，减少残留影响。在节点上用--loglevel=2能提升调试效率，但别在生产环境用，否则系统会产生大量日志。 十四 利用CNI插件优化网络性能 CNI插件的选择直接影响集群网络性能。我之前用calico，发现延迟有点高，后来换成cilium，性能提升明显。cilium的--ipam-allocator-type=besteffort能减少IP分配冲突，而calico的--ipam=host-local可以提升IP分配速度。另外，启用--enable-ipv4和--enable-ipv6能避免IP地址耗尽，尤其是在多网段环境下。对于高吞吐场景，比如微服务通信，cilium自带的eBPF机制能大幅减少网络开销。 十五 优化存储卷的生命周期管理 存储卷的管理直接影响持久化数据的性能和可用性。我之前在使用rook-ceph时，没设置--reclaimPolicy=Retain，导致数据被误删，应用无法恢复。正确的做法是根据业务需求选择合适的reclaimPolicy，比如Retain用于需要长期保留的数据，Delete用于临时数据。另外，使用--image=rook/ceph:v2025.10.0能确保使用最新稳定版，避免旧版本的bug影响性能。对于高写入负载，记得设置--size=100Gi，避免存储空间不足。 十六 使用多节点调度与亲和性策略 多节点调度是提升性能的关键，别让所有pod都挤在一个节点上。我之前没设置nodeAffinity，结果某个节点负载过高，其他节点空闲，系统效率低下。正确的方式是用requiredDuringSchedulingIgnoredDuringExecution来指定必须运行的节点，比如nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: disk operator: In value: ssd。还可以用podAntiAffinity来防止同一pod副本运行在同一节点，这样能均衡负载。 十七 避免频繁的节点重启和缩放 节点重启和缩放是性能优化的大忌，尤其在生产环境中。我之前为了测试改了node的--max-requests-per-second=5000，结果API Server频繁重启，整个集群不稳定。解决办法是避免频繁调整这个参数，除非你真有理由。对于HPA，设置--minReplicas=3和--maxReplicas=10，能避免过度缩放。如果用kubectl scale，记得用--replicas=5，而不是直接写数量。 十八 优化Kube-proxy的配置 Kube-proxy的配置对集群性能有显著影响，尤其是在大规模部署中。我之前用iptables模式，发现网络延迟很高，后来换成ipvs模式，性能提升明显。配置时记得用--proxy-mode=ipvs和--ipvs-scheduler=rr，这样能均衡负载。另外，设置--min-sync-period=5s能减少conflict，避免不必要的更新。对于IPVS模式，别忘了添加--enable-ipvs，并确保内核版本支持。 十九 将资源限制与QoS结合 Kubernetes的QoS（Quality of Service）机制能帮助你更合理地分配资源。比如，设置resources: requests: memory: 512Mi cpu: 500m limits: memory: 1Gi cpu: 1，能确保pod运行在合适的资源分配下。我之前没结合QoS，结果有个正常运行的pod被驱逐，因为超过了内存限制。另外，使用--cpu-quota和--memory-quota参数能限制pod的资源使用，避免资源争抢。 二十 使用容器运行时的高级特性 容器运行时的配置能显著提升性能，比如在containerd中设置--root=/var/lib/containerd和--state=/var/lib/containerd/state，能避免路径问题。我之前没设置这些参数，导致容器无法启动，系统报错。还要注意--snapshotter=overlay2，因为这个模式比aufs快很多，尤其在写入密集型应用中。使用--no-pivot-root能提升启动速度，但别在老旧系统上用，否则会出问题。