团队必备 | SaltStackSRE最佳实践(6分钟读完)

▌ 技术引导
SaltStackSRE团队里，运维配置和状态管理是硬骨头。我见过太多人用SaltStack做基础架构，结果要么效率低下，要么稳定性差，关键在于没有把配置和状态用对。重点在状态系统的颗粒度控制、主控节点的负载管理、以及执行模块的优化策略。比如，用`state.orchestrate`来管理复杂流程，用`pillar`来隔离敏感数据，用`grains`来动态获取系统信息。这些技术细节直接决定SaltStack在你团队里的落地深度。如果配置不精准，系统会反复触发，浪费时间；如果状态写得不够智能，重复任务会变成噩梦。我见过一些团队把`state.sls`写成几十MB的文件，其实应该拆分成多个小模块，按业务场景划分。主控节点的`master`进程要监控它的`cpu`和`memory`，一旦超过阈值，就切换到备用节点。这些都是踩坑后才明白的，别在你身上重复。

▌ 技术参考

一 在SaltStackSRE团队里，所有配置必须基于`state`模块，不能直接写`cmd`或`file`。比如在执行部署之前，先用`state.highstate`来确保所有依赖项已经就位。如果服务器上没有安装`nginx`，状态文件里的`nginx`配置会失败，导致后续恢复成本极高。推荐使用`state.orchestrate`来管理多阶段操作，比如`orchestrate`里可以定义`init`, `verify`, `deploy`, `post_deploy`等阶段，每个阶段调用不同的`state.sls`。这样能有效控制执行顺序，提升运维可靠性。在编写状态文件时，优先使用`sls`结构，避免嵌套`state`模块。

二 主控节点（master）的配置需要精细化管理，特别是`master`的`cpu`和`memory`使用率。监控`master`的`cpu`可以用`top`或`htop`，监控`memory`可以用`free`或`vmstat`。如果发现`master`进程频繁`oom`，要检查`pillar`和`grains`数据的大小。`pillar`数据存储在`salt/pillar`目录下，建议用`pillarenv`来分离不同环境的数据，比如`prod`, `stage`, `dev`。如果`pillar`数据量太大，建议用`pillar.opts`设置`cache minion`为`true`，减少主控节点的实时计算负担。另外，`master`的`rest_chroot`配置必须正确，避免权限问题导致状态执行失败。

三 在状态文件中，使用`require`和`watch`来实现依赖控制是关键技巧。比如，部署`nginx`服务前，必须确保`nginx`的`package`已经安装，可以用`require`来指定依赖关系。如果某个服务启动后需要触发另一个任务，可以用`watch`来监听服务状态。这两个参数可以防止状态文件的执行逻辑混乱。例如，在`nginx.conf`状态里，写`require: pkg:nginx`，这样SaltStack会先执行`pkg`相关的状态，再处理配置。另外，在`state.apply`里可以设置`force`参数为`true`，强制重新应用状态，适用于某些需要全量重建的场景。

四 执行模块优化是SRE团队的必修课，特别是`salt-call`和`salt-ssh`的使用。`salt-call`适合本地执行，尤其是在调试状态文件时，因为它会输出完整的执行日志。而`salt-ssh`适合远程执行，尤其在没有`SSH`访问权限的服务器上。但使用`salt-ssh`时要注意`pillar`和`grains`的加载方式，因为`salt-ssh`默认不加载`pillar`数据，需要手动指定`pillar`参数。比如在`salt-ssh`命令里加`--pillar`参数加载`pillar`文件。另外，`salt-ssh`的`pillar`加载速度比`salt`慢，建议用`pillar_cache`来优化加载时间。如果服务器启动时需要加载大量`pillar`数据，建议用`pillar.opts`配置`pillar_cache_expire`为`3600`，避免频繁加载。

五 在SaltStackSRE团队中，`state.sls`文件的命名规范必须严格，尤其是多级目录下的状态文件。比如，`/srv/salt/webserver/init.sls`和`/srv/salt/webserver/nginx.sls`，这样的结构能清晰划分逻辑模块。同时，`state.sls`文件里必须包含`top.sls`，用于指定哪些`state`文件应用到哪些 minion。`top.sls`的语法是`base:`下列出所有 minion，然后`match: minion`或者`grain`来指定状态文件。比如，`base: webserver: - init - nginx`，这样能确保所有 web 服务器都应用配置。如果`top.sls`没有正确配置，会导致状态文件执行范围不明确，产生配置遗漏或重复。

六 在SaltStackSRE团队里，`pillar`数据的管理必须分层。使用`pillar.opts`配置`pillarenv`，比如`prod`, `stage`, `dev`，这样不同的环境有不同的配置策略。`pillar`数据存储在`salt/pillar`目录下，每个环境的`pillar`文件应该放在对应的子目录中。例如，在`pillarenv=prod`时，`/srv/pillar/prod`下的`minion`文件会优先加载。同时，`pillar`数据中的敏感信息如`password`, `secret`应该用`pillar_enc`加密，避免泄露。加密算法推荐使用`salt`自带的`fdata`或`fdata2`，在`pillar.opts`里配置`pillar_master_key`为加密密钥。加密后的数据需要用`saltutil.pillar_cache`来缓存，减少加密计算开销。

七 在执行盐状态时，`salt`和`salt-ssh`的效率差异必须注意。对于大量 minion 的执行，优先使用`salt`，因为它支持并行执行，能在几秒内完成上千台服务器的配置。而`salt-ssh`虽然安全，但执行效率低，适合少量服务器或无网络穿透的情况。如果部署需要跨网络，`salt-ssh`是唯一选择，但要优化`salt-ssh`的`minion`连接方式，比如用`--parallel`参数并行执行任务。同时，`salt-ssh`的`disk usage`可能较高，建议在每次执行后清理`cache`，避免磁盘空间被占满。如果 minion 的数量超过500，`salt-ssh`的执行时间会显著增加，这时候需要用`salt`来做批量处理。

八 `grains`的使用是SaltStack管理服务器状态的重要手段。比如，用`grains.get('os')`来判断服务器的操作系统类型，再根据类型加载不同的状态文件。`grains`数据存储在`/etc/salt/grains`目录下，每个 minion 有自己的`grains`文件。在`state.sls`里，可以通过`grains:`来指定条件，比如`grains: os: Debian`，这样只有 Debian 服务器才会应用该状态。另外，`grains`的`minion_id`可以用来区分不同主机，避免状态执行混淆。如果`grains`数据没有正确配置，状态文件可能无法准确匹配目标主机，导致部署混乱。

九 在SaltStackSRE团队里，状态文件的版本控制必须使用`git`。每个`state.sls`文件都应该放在`git`仓库中，这样能追踪修改历史，回滚配置。同时，`state.highstate`执行前，最好用`git diff`来检查是否有未提交的变更，避免执行不稳定配置。在`salt`配置文件`/etc/salt/master`里，可以设置`pillar_roots`为`git`仓库路径，实现自动加载。例如：
```
pillar_roots:
base:
- git://git@bitbucket.org:team/salt-pillar.git
```
这样每次`git commit`后，`pillar`数据会自动更新。同时，`salt`的`state.apply`可以配置`cache`为`true`，减少重复加载。如果`git`仓库的`pull`失败，状态文件将无法加载，这时候需要手动检查`git`状态和网络连接。

十 `state.orchestrate`是SaltStackSRE团队里管理复杂流程的利器。比如，在部署服务前，通过`orchestrate`调用多个`state.sls`文件，确保每一步都正确执行。`orchestrate`的结构是`/srv/roster`和`/srv/stacks`，`roster`里列出所有 minion，`stacks`里包含各个`state`模块。比如，`roster`文件里写`webserver: - 192.168.1.1 - 192.168.1.2`，然后在`stacks`里写`init: - init.sls - nginx.sls`。这样可以确保所有 web 服务器都应用了初始化和 Nginx 配置。另外，`orchestrate`支持`jobs`和`wait`，可以等待某个任务完成后再执行下一个，避免并发冲突。

十一 在SaltStackSRE团队中，`pillar`数据的加密和解密是关键。建议使用`fdata`加密方式，因为它支持多种密钥类型，包括`AES`, `Blowfish`等。加密后的数据需要用`saltutil.pillar_cache`来加载，避免每次执行都要重新解密。在`pillar.opts`里配置`pillar_master_key`，确保所有加密数据使用相同的密钥。比如：
```
pillar_master_key: 'your-secret-key-here'
```
如果密钥不一致，解密会失败，导致配置无法应用。另外，`pillar`数据的`minion`和`master`需要同步密钥，否则`pillar`加载会报错。建议在`/etc/salt/pillar/`里创建`pillar_secret`文件，并在`master`和`minion`的`pillar.opts`中配置`pillar_secret`路径。

十二 `salt`的日志系统是SRE团队排查问题的核心。默认日志路径是`/var/log/salt/master`和`/var/log/salt/minion`，建议配置`log_level_logfile`为`debug`，这样能记录详细的执行过程。在`/etc/salt/master`里写：
```
log_level_logfile: debug
```
同时，`salt`的日志文件应该用`rsyslog`或`logrotate`来管理，避免磁盘空间被占满。如果发现状态执行失败，检查`master`的日志，尤其是`error`和`traceback`信息。`salt`的日志是`JSON`格式，可以用`jq`解析，快速定位错误。例如：
```
jq '.event' /var/log/salt/master.log | grep -i error
```
这对排查状态文件的执行问题非常有用。

十三 在SaltStackSRE团队中，状态文件的执行方式直接影响系统稳定性。推荐使用`state.highstate`来执行全部配置，而不是单个`state.apply`，因为`highstate`会自动加载所有依赖。如果某些配置需要临时更改，可以用`state.sls`配合`state.highstate`来实现。比如，`state.highstate`里调用`/srv/salt/fix-nginx.sls`，确保在修复过程中不会影响其他配置。另外，`state.highstate`的执行时间可以通过`time`参数控制，比如：
```
state.highstate --time=5
```
这样能限制执行时间，避免长时间阻塞。

十四 `salt`的执行策略决定了团队的效率。比如，使用`salt`的`parallel`和`serial`参数，控制执行顺序。对于大量服务器，使用`parallel`能显著减少执行时间，但如果某些任务有冲突，建议用`serial`来避免资源争用。在`/etc/salt/master`里配置`executors`为`/usr/bin/salt-ssh`，这样能统一管理远程执行。对于需要离线执行的场景，可以使用`salt-ssh`的`--offline`参数，确保即使没有网络连接也能执行。同时，`salt`的`schedule`模块可以设置定时任务，比如：
```
salt '' state.highstate --schedule=weekly
```
这样能确保系统定期更新。

十五 SaltStackSRE团队在处理多环境部署时，需要使用`env`参数来区分不同环境。比如，在`state.highstate`中添加`--env=prod`，这样能加载对应的`pillar`和`state`配置。`env`支持多层级管理，比如`base`, `stage`, `dev`，每个层级对应不同的配置策略。在`/etc/salt/master`里配置`pillar_roots`为多个`env`路径，例如：
```
pillar_roots:
base:
- /srv/pillar/base
prod:
- /srv/pillar/prod
stage:
- /srv/pillar/stage
```
这样能灵活管理不同环境的配置。同时，`env`参数可以用于`salt`的`state.apply`，确保执行的是当前环境的配置。如果`env`配置错误，状态执行会加载到错误的环境，导致配置混乱。