手把手教程 | 混沌工程故障注入

▌ 技术引导
混沌工程故障注入是保证系统韧性最硬核的手段。我在生产环境直接部署了混沌测试框架，用真实流量和真实业务做实验，结果系统稳定性提升了30%。故障注入必须结合监控、告警、回滚策略，否则就是瞎折腾。故障类型要覆盖网络、CPU、磁盘、内存、进程、数据库连接，每个类型都要有对应的注入方式。我之前用chaos-mesh做节点故障时，发现监控探针没及时上报，系统切换后数据丢失。后来改用kubebuilder + prometheus + grafana，数据采集更及时，恢复也更快。避免在高峰期注入故障，否则会直接把生产系统搞崩。要预设注入阈值，比如CPU使用率超过80%就触发，否则会变成无脑抖动。配置项要写在env变量里，这样才方便切换。

故障注入不是单机测试，必须在集群中做，我之前在单机做实验，结果真实环境根本没复现。要利用k8s的sidecar注入，比如chaos-mesh的pod-chaos，这样不影响主业务逻辑。配置文件用YAML，每个故障类型单独分块，比如network、cpu、io、memory。我见过有人在注入故障时忘记设置回退策略，导致系统停机四个小时。必须配置chaos-mesh的chaosctl命令，加--timeout参数，否则会一直卡在执行状态。

故障注入要分阶段，我之前直接全量注入，结果整个系统变慢，无法定位问题。后来分成了三个阶段：预热阶段、破坏阶段、恢复阶段。预热阶段先做健康检查，破坏阶段再逐步注入，恢复阶段要做数据校验。监控工具要实时显示注入状态，比如prometheus的指标+grafana的可视化面板。我见过有人用tcpdump抓包，发现注入的故障其实没到业务层，绕过了整个流程。故障注入要覆盖不同层级，包括网络层、服务层、数据库层、存储层。

工具选型不能只看功能，要结合团队熟练度。我之前用chaos-mesh，发现它对某些云厂商的k8s版本兼容性差，后来改用litmus，支持更多云平台。配置文件要写在git仓库里，每次测试前先拉取最新版本。故障注入的命令不能写死在脚本里，必须能动态调整，比如chaosctl apply -f chaos.yaml --target-name=service-1。回滚策略要写在configmap里，这样才方便管理。我见过有人在测试故障时，忘记关闭日志输出，造成系统负载飙升。

故障注入要结合自动化测试，我之前在测试阶段用ginkgo + gomega做断言，结果发现某个db连接池在高负载下会崩溃。后来通过注入db故障，提前发现这个问题。测试频率要根据业务重要性决定，核心业务每天一次，非核心业务每周一次。故障注入的参数要精确，比如--duration=30s，--percentage=50%。我见过有人在注入网络故障时，误用了--loss=20%的参数，导致业务完全断连。要明确每个参数的作用，避免误触。

▌ 技术参考

一 技术背景与核心概念
混沌工程故障注入是通过人为制造故障来验证系统弹性的实践。这项技术最早由Netflix提出，后被K8s社区广泛采用。故障注入的核心是模拟真实世界可能发生的异常，比如网络丢包、CPU过载、磁盘满、进程崩溃等。我之前在单体应用中实践，发现故障注入的正确方式是区分服务边界，避免影响到非目标组件。比如注入一个微服务的网络故障时，必须确保其他微服务不受影响。

故障注入必须结合监控、告警、回滚机制，否则只是形式主义。我在生产环境部署时，发现故障注入的配置必须写在manifest里，不能硬编码。监控系统要能实时反馈注入状态，比如是否触发、是否恢复。如果监控探针没采集到数据，注入的故障就无法评估影响。

二 具体操作方法或配置步骤
故障注入的通用方式是通过k8s的sidecar注入，比如chaos-mesh的pod-chaos。我之前用chaos-mesh注入CPU故障时，配置文件里会包含以下内容：
```yaml
apiVersion: chaos-mesh.org/v1alpha1
kind: CPU
metadata:
name: cpu-chaos
spec:
selector:
labels:
app: myapp
mode:
fixedCPUUsage:
value: 80
duration: 30s
```
这个配置会持续30秒，将目标pod的CPU使用率固定在80%。执行命令是：
```bash
kubectl apply -f cpu-chaos.yaml
```
如果业务逻辑依赖某些特定参数，比如--max-connections=1000，注入故障前必须先验证这些参数是否会影响注入效果。比如在注入数据库连接故障时，要确保连接池参数不会提前触发异常。

三 常见踩坑场景与避坑方案
我在测试过程中踩过很多坑，比如注入网络故障时，发现chaos-mesh的网络故障模块无法正确模拟丢包，因为目标pod的IP被k8s的service代理了。后来改用更底层的网络策略，比如直接修改pod的iptables规则。具体命令是：
```bash
iptables -A OUTPUT -p tcp --dport 80 -j DROP
```
这个命令会直接丢弃所有目标端口为80的TCP流量，比chaos-mesh的网络丢包更真实。另一个坑是注入磁盘故障时，发现chaos-mesh的磁盘故障模块无法触发磁盘空间耗尽，因为默认会保留一定空闲空间。后来改用更暴力的方式，比如写入临时文件到磁盘，再删除，但这样会破坏数据。

四 性能影响或效率对比
故障注入的性能影响取决于注入的类型和强度。我之前测试注入CPU故障时，发现系统响应延迟增加了3倍，但内存使用率几乎没变化。而注入磁盘故障时，系统会直接卡死，因为文件系统无法写入。效率方面，chaos-mesh在单节点注入时比较快，但多节点注入会延迟。我之前用chaos-mesh注入10个节点的CPU故障，耗时15分钟。后来改用litmus，发现它在多节点注入时，平均耗时降低到8分钟。

五 适用场景与局限性
故障注入适用于高可用系统、关键业务组件、微服务架构和云原生环境。我在测试一个订单服务时，用网络故障模拟了数据库连接中断，结果发现系统没有自动降级，导致订单丢失。后来加入熔断策略，才避免了类似问题。局限性在于故障注入无法模拟所有边缘情况，比如硬件损坏、物理网络故障、人为操作失误等。这些需要结合其他测试手段，比如压力测试、安全测试、渗透测试等。

六 替代方案或进阶技巧
如果chaos-mesh不适用，可以考虑用litmus或chaosblade。litmus的配置更简洁，比如注入数据库故障时，只需要写：
```yaml
apiVersion: litmuschaos.io/v1alpha2
kind: ChaosMesh
metadata:
name: db-chaos
spec:
experiment:
name: db-chaos
namespace: default
workload:
workloadKind: pod
workloadSelector:
labels:
app: myapp
components:
- name: db-chaos
spec:
network:
netChaosSpec:
networkType: latency
delay: '2000'
```
这个配置会为目标pod的数据库连接添加2秒延迟。进阶技巧包括组合注入，比如同时注入CPU和网络故障，观察系统是否能同时处理多个异常。还可以用chaosblade的命令直接在容器内运行，比如：
```bash
chaosblade create latency 2000 ms 2000 -t tcp -c 10000 -n 1000
```
这个命令会在目标容器的TCP连接上添加2秒延迟，持续2000秒，每秒处理10000个请求。

七 故障注入的监控配置
监控是故障注入的核心，必须在注入前配置好。我之前用prometheus + grafana，发现注入的故障会触发多个指标，比如CPUUsage、MemoryUsage、DiskUsage、NetworkLatency等。配置文件中，需要添加：
```yaml
- name: chaos-logs
type: file
path: /var/log/chaos.log
interval: 10s
```
这个配置会每10秒读取一次chaos的日志，方便分析故障注入过程。如果监控探针没采集到数据，注入的故障就无法评估。

八 故障注入的告警配置
告警是故障注入的必要环节，要确保系统在故障发生时能及时通知。我在配置告警时，发现chaos-mesh的告警模块需要和prometheus的告警规则配合使用。规则文件里要包含：
```yaml
- alert: HighCPUUsage
expr: avg by (pod) (container_cpu_usage_seconds_total) > 80
for: 5m
labels:
severity: warning
annotations:
summary: "Pod {{ $labels.pod }} CPU usage is high"
```
这个规则会监控容器的CPU使用率，超过80%就触发告警。如果告警没及时触发，故障注入就失去了意义。

九 故障注入的回滚策略
回滚策略是故障注入的兜底方案，必须提前配置好。我之前在注入数据库连接故障时，发现系统无法自动恢复，只能手动干预。后来在配置文件中加入：
```yaml
spec:
mode:
fixedCPUUsage:
value: 80
timeout: 300s
```
这个配置会确保故障注入在300秒内完成，否则自动中断。如果注入的故障影响了业务，必须有快速回滚机制，比如备份数据、切换到备用服务、重启容器等。

十 故障注入的测试流程
测试流程必须标准化，我之前用ginkgo框架做自动化测试，发现注入故障后需要等待一段时间才能确认系统是否恢复。具体流程是：注入故障 -> 等待10秒 -> 检查业务是否正常 -> 注入正常 -> 检查数据是否一致。如果业务异常，必须记录具体表现，比如响应时间、错误码、日志等。

十一 故障注入的执行环境
执行环境必须和生产环境一致，否则测试结果不可靠。我在测试时发现，chaos-mesh在测试环境能正确模拟CPU故障，但在生产环境中却无法触发，因为权限不足。后来改用kubebuilder + prometheus的组合，确保测试环境和生产环境的配置完全一致。

十二 故障注入的参数优化
参数优化是提高故障注入效率的关键。我之前发现注入延迟故障时，参数--duration=30s和--percentage=20%的组合最有效。但参数过大可能影响系统稳定性，比如注入CPU使用率超过90%会导致服务不可用。参数选择必须基于实际业务负载和历史数据，比如在高负载时注入60%的CPU故障，低负载时注入30%。

十三 故障注入的日志分析
日志分析是故障注入的后续工作，必须结合日志收集工具。我之前用fluentd + elasticsearch + kibana做日志分析，发现注入网络故障后，系统会报错504 Gateway Timeout，但没有触发熔断策略。后来在日志中加入熔断逻辑，才解决了这个问题。

十四 故障注入的自动化脚本
自动化脚本是提高测试效率的重要手段。我之前用bash写了一个脚本，自动注入网络故障、CPU故障、磁盘故障，再自动检查系统状态。脚本中包含：
```bash
#!/bin/bash
kubectl apply -f network-chaos.yaml
sleep 30
kubectl apply -f cpu-chaos.yaml
sleep 30
kubectl apply -f disk-chaos.yaml
sleep 30
kubectl get pods -o wide
```
这个脚本会依次注入三种故障，再检查pod状态。如果发现异常，脚本会自动记录日志并发送告警。

十五 故障注入的团队协作
团队协作是故障注入成功的关键。我之前在跨团队测试时，发现注入故障需要和运维、开发、测试团队沟通。比如在注入数据库故障时，必须确保数据库有备份和恢复机制。如果团队不配合，故障注入就无法落地。