我在大厂用Service Mesh：金丝雀发布 | 真实项目总结

在大厂用Service Mesh实施金丝雀发布，我见过最实用的方案是通过Envoy的xDS API配合控制平面的路由规则动态切换流量。具体来说，我们用Envoy做sidecar代理，将服务实例的流量策略写进配置，利用Consul的健康检查机制自动剔除异常节点，再通过Kubernetes的Service资源实现灰度路由。关键在于配置文件的动态更新能力，比如使用`configMap`或`secret`来存储路由规则，这样可以在不重启服务的情况下完成流量切换。实际操作时，配置项`route_config`里的`virtual_hosts`就需要精确到匹配特定请求头或路径，比如`request.headers["x-canal"] == "canary"`，然后设置`route`的`cluster`字段为对应的canary集群。如果处理不当，比如配置错误或健康检查频率过高，可能会出现流量误切，这时候需要手动干预或者引入额外的监控指标，比如通过Prometheus收集`envoy_response_code`来判断是否正常切换。

▌ 技术参考
在大厂用Service Mesh实施金丝雀发布，我们通常采用Envoy作为数据平面，配合Consul或Kubernetes做服务发现。Envoy的配置文件中，`route_config`部分是核心，特别是`virtual_hosts`的匹配规则。例如，`request.headers["x-canal"] == "canary"`可以作为流量切分的条件，然后将这部分请求路由到`canary`集群。这种做法的好处是可以在不修改业务逻辑的情况下实现流量控制。但实际部署中，我发现很多团队在配置`cluster`时没有正确设置`lb_policy`，导致流量分配不均。比如，如果集群没有配置`round_robin`，Envoy可能会默认使用`least_requests`，这在某些场景下会导致canary服务负载过高。因此，我建议在`cluster`段落里显式写上`lb_policy: round_robin`，确保流量均匀分配。此外，健康检查的配置也必须细致，例如Consul的`check_interval`设置为5秒，而`check_timeout`要设为3秒，防止误判。

流量切分的配置通常通过Kubernetes的Service资源来完成，比如创建一个带有`canary`标签的Service，再在Ingress或Service Mesh的路由规则中定义`canary`流量的比例。例如，用`istioctl`命令设置`--canary`参数时，不仅要指定比例，还要确保`--canary-weight`和`--canary-destination`的准确性。在实际测试中，我发现如果`canary-destination`指向的Service不存在或标签错误，Envoy会直接拒绝流量，导致服务不可用。因此，必须用`kubectl get services`和`kubectl get endpoints`双重验证Service和Endpoints的存在。同时，`istioctl`的`--canary`参数会覆盖默认的路由规则，所以配置后需要立即用`istioctl get routes`检查路由是否生效。

在流量切分的过程中，监控是必不可少的。我们用Prometheus采集Envoy的`envoy_response_code`和`envoy_upstream_cx_total`指标，用来判断canary服务是否正常接收流量。如果发现`envoy_upstream_cx_total`增长缓慢，可能代表流量没有正确切分。这时候需要检查Envoy的`route_config`是否正确，或者是否有其他中间件拦截了流量。此外，还可以用`kubectl logs`查看Sidecar的日志，确认是否有`route`匹配失败的记录。例如，日志里可能会出现`[info][router] upstream cluster "canary" has no endpoints`，这说明canary集群的配置有问题，需要重新检查`cluster`段落里的`lb_policy`和`endpoints`是否正确。

金丝雀发布的一个典型场景是数据库版本升级。我们通过Service Mesh将流量逐步从旧版数据库切换到新版，确保数据一致性。这个过程需要在Envoy配置中定义`virtual_host`的`match`规则，例如`request.headers["x-db-version"] == "v2"`，然后将这部分流量路由到新版数据库的`canary`集群。同时，我们还用到了`Envoy`的`retry`机制，避免因为数据库暂时不可用导致请求失败。在实际操作中，`retry`的`max_retries`和`retry_on`参数必须配置得当，否则可能会出现大量重试请求，影响系统性能。例如，将`retry_on`设为`5xx`可以避免在服务错误时反复重试，而`max_retries`设为3可以控制重试次数，防止系统过载。

另一个关键点是流量切分后的回滚机制。在Service Mesh中，如果canary服务出现异常，我们需要快速将流量切回旧版。这时候，`istioctl`的`--canary`参数可以设置为0，同时把`--canary-destination`的值重置为原服务。但实际操作中，我发现如果在`istioctl`命令里没有指定`--canary-destination`，它会默认使用`--canary`的值作为目标，这可能引发配置错误。因此，必须在回滚时显式地设置`--canary-destination`为旧版服务的名称。同时，我们用`kubectl annotate`来标记canary服务的`istio.io/rev`，确保流量切换不会影响到其他版本。如果canary服务的`istio.io/rev`设置错误，可能会导致流量分配混乱，甚至无法回滚。

在Service Mesh中，金丝雀发布还需要结合`Kubernetes`的`Deployment`和`Service`来实现。例如，我们可以使用`Deployment`的滚动更新策略，确保新版本服务逐步上线。同时，使用`Service`的`endpoints`来管理服务实例的分布，避免流量直接指向未就绪的Pod。在实际部署中，我们发现有些团队直接使用`Deployment`的`canary`标签，而忽略了`Service`的配置，导致流量无法正确路由。因此，必须保证`Service`的`selector`和`Deployment`的`labels`完全一致，否则Envoy会找不到对应的endpoints，导致流量中断。例如，在`Service`的`spec.selector`中，必须包含`app: my-service, version: v2`，而`Deployment`的`spec.template.metadata.labels`也要对应。

Envoy的`route_config`还支持基于`path`或`headers`的流量切分，但需要注意`match`的优先级问题。比如，如果同时配置了`path`和`headers`的匹配规则，Envoy会按照`path`优先匹配，而忽略`headers`。这种行为在某些场景下可能引发问题，比如当路径匹配失败时，流量可能被误切到其他集群。因此，我建议在`route_config`中先定义`path`匹配，再定义`headers`匹配。例如，在`virtual_host`里先设置`match`的`path`为`/api/v2/`，再在`route`中设置`headers`的匹配规则。这样可以确保流量先经过路径判断，再根据请求头进行切分，避免逻辑冲突。

在大厂实践中，金丝雀发布通常需要与`Kubernetes`的`HPA`（Horizontal Pod Autoscaler）结合使用，确保流量切分后Pod的负载不会过高。例如，我们配置`HPA`的`minReplicas`为2，`maxReplicas`为5，这样即使流量增加，Pod也不会瞬间扩容。同时，`HPA`的`scaleTargetRef`必须指向正确的`Deployment`，否则会无法自动扩展。在实际操作中，我发现有些团队在`HPA`配置时没有正确设置`scaleTargetRef`，导致扩容策略失效。因此，在`HPA`的配置文件中，必须确保`metadata.name`和`spec.scaleTargetRef.name`一致，否则`HPA`会忽略该策略。

Envoy的`route_config`还可以结合`Kubernetes`的`Ingress`实现更复杂的流量路由。比如，我们使用`Ingress`的`path`和`backend`配置来指定流量的入口，然后在Envoy里通过`virtual_host`进一步细化。但需要注意，`Ingress`的路由规则可能会影响Envoy的配置，特别是当`Ingress`的`path`和`backend`与Service Mesh的`route_config`冲突时。例如，`Ingress`的`path`被设置为`/api/`，而Envoy的`path`匹配为`/api/v2/`，这时候流量可能会被误切。因此，必须确保所有路由规则的`path`和`headers`都准确无误，避免因配置冲突导致服务不可用。

金丝雀发布在Service Mesh中还有一个重要的配置项是`timeout`和`retry`策略。例如，我们设置`timeout`为5秒，`retry`为3次，这样可以避免因微服务响应过慢导致请求超时。但实际应用中，我发现如果`timeout`设置得太短，可能会误判服务正常，导致流量被错误切分。这时候需要根据服务的响应时间来动态调整`timeout`参数。例如，使用`kubectl describe pod`查看服务的`container`状态，再结合`Prometheus`的`container_cpu_usage_seconds`指标来判断服务是否负载过高，从而调整`timeout`和`retry`的配置。这样既能保证稳定性，又能提升用户体验。

在大厂中，金丝雀发布还常用于前端微服务的版本测试。比如，我们将`x-canal`请求头设置为`test`，然后将这部分流量路由到`test`集群。这种做法的好处是可以在不修改前端代码的情况下完成测试，但实际部署时，必须确保`test`集群的`endpoints`配置正确，否则流量会直接被丢弃。我们还发现，如果`test`集群的`endpoints`没有正确设置`targetRef`，Envoy会无法识别服务实例，导致流量无法到达。因此，在`Service`的`spec`里必须正确配置`endpoints`，确保所有Pod都能被正确发现和路由。

Service Mesh的金丝雀发布还有一个常见问题是对`Grpc`请求的支持不够完善。例如，在某些场景下，`Envoy`无法正确识别`Grpc`请求的`path`或`headers`，导致流量切分失败。这时候需要检查`route_config`里的`route`是否支持`Grpc`类型，比如在`route`里设置`match`的`request_type`为`GRPC`。如果未设置，`Envoy`会默认使用`HTTP`路由，导致流量被错误切分。这个问题在使用`Kubernetes`的`Service`时尤为明显，因为`Service`的`type`如果设置为`NodePort`或`LoadBalancer`，可能会改变请求的路径，从而影响路由判断。

在大厂中，我们还发现金丝雀发布需要结合`Kubernetes`的`Deployment`和`Service`来实现更精细的流量控制。例如，通过`Deployment`的`strategy`设置为`rollingUpdate`，确保新版本Pod逐步上线。同时，`Service`的`endpoints`需要动态更新，避免流量切分到未就绪的Pod。在实际操作中，我们配置`Deployment`的`minReadySeconds`为5秒，这样可以确保Pod完成初始化后再被加入`endpoints`。这个配置虽然简单，但能有效防止流量切分到未就绪的服务实例，保证系统的稳定性。

Service Mesh的金丝雀发布还涉及`Envoy`的日志和监控配置。我们经常在`Envoy`的配置文件里添加`access_log`，记录所有请求的`path`、`headers`和`response_code`，这样可以在出现问题时快速定位原因。例如，如果某个请求的`response_code`为`503`，说明流量可能被错误切分到不可用的集群。这时候需要检查`route_config`里的`cluster`是否正确，以及`endpoints`是否正常更新。此外，我们还用到了`Prometheus`的`exporter`来采集Envoy的`envoy_cluster_upstream_cx_total`和`envoy_upstream_cx_active`指标，用来监控流量是否正常分配。

金丝雀发布的一个关键问题是`Kubernetes`的`Service`和`Deployment`的命名策略。例如，如果`Deployment`的`name`是`my-service-v1`，而`Service`的`name`是`my-service`，那么在`Envoy`的配置中必须确保`canary-destination`指向的是`my-service`，而不是`my-service-v1`。否则，流量会直接被路由到旧版服务，导致金丝雀发布失效。因此，命名策略必须统一，确保所有服务的`name`一致，`version`通过`labels`区分。例如，在`Deployment`的`spec.template.metadata.labels`里设置`version: v2`，而在`Service`的`spec.selector`里使用`version: v2`来匹配Pod。

在某些大厂项目中，金丝雀发布还会涉及`Envoy`的`runtime`配置。例如，通过`runtime`为`canary`流量分配不同的`timeout`或`retry`策略。这需要在`Envoy`的`config`文件里添加`runtime`段落，并设置`envoy.runtime`的`splitter`参数。但这个配置在实际使用中容易出错，特别是当`runtime`的路径或参数设置不正确时，可能导致配置加载失败。因此，必须在`Envoy`的`runtime`配置中确保`splitter`的`key`和`value`都正确无误。比如，`splitter.key`设置为`canary`，`splitter.value`设置为`true`，这样才能正确匹配到canary流量。

为了确保金丝雀发布不会影响主流量，我们还使用了`Kubernetes`的`PriorityClass`来控制Pod的调度优先级。例如，在`Deployment`的`spec.template.spec.priorityClassName`里设置为`high`，这样Pod在调度时会优先分配资源，避免因资源不足导致服务不可用。这个配置在大厂中较为常见，但需要确保`PriorityClass`已经存在并正确配置。否则，`Envoy`会发现`endpoints`无法更新，导致流量切分失败。因此，在`PriorityClass`配置完成后，必须用`kubectl get priorityclass`验证其存在。