新手必看：本地缓存监控告警 | 10分钟学会

要用本地缓存监控告警，必须把监控埋点和告警规则写在应用里。我见过很多公司直接用redis的slowlog或者memcached的stats命令去抓数据，结果发现不是每个节点都开慢日志，也不清楚统计的粒度。这种做法会导致漏掉关键节点，因为有些缓存服务默认不开启这些日志，或者logs只保留最近几次。更靠谱的办法是用Prometheus+exporter组合，比如redis_exporter或者memcached_exporter，把缓存的指标导出来，再用Grafana做可视化，最后用Alertmanager发告警。最棘手的是怎么把exporter部署到缓存服务的docker里，得用--add-host参数把宿主机ip挂载进去，否则会连不上。

监控必须覆盖命中率、空闲内存、连接数、qps这些维度，命中率低于80%就报警，空闲内存低于10%也要触发。我见过一次生产事故，是因为缓存服务器内存报警后没人处理，结果后续请求直接卡死。这说明监控只能是第一步，告警阈值不能设得太宽松。在配置上，Prometheus的job里要设置scrape_interval=30s，这样能及时捕获异常。如果用redis_exporter，还要加上--web.listen-address参数，暴露端口让Prometheus拉取数据。

告警规则要分层级，先看全局的命中率，再看单个实例的qps有没有突增。我见过有人直接用redis的INFO命令去抓数据，结果发现这个命令本身会阻塞服务器，导致性能问题。别犯这种低级错误，监控应该是无侵入的，不能影响到服务运行。在写规则的时候，注意指标单位，比如命中率是百分比，qps是每秒请求数，这些都要在规则里体现，否则报警会出错。Prometheus的alertmanager配置里，要给每个报警设置正确的渠道，比如钉钉、飞书或者邮件，避免误报漏报。

本地缓存监控告警的核心是指标采集和规则配置。常用工具包括redis_exporter、memcached_exporter、jmx_prometheus_config、node_exporter。这些工具都有不同的配置方式，比如redis_exporter需要指定redis的地址和密码，memcached_exporter则要配置memcached的端口和协议。在k8s里部署exporter，最好用sidecar模式，这样不影响主容器运行。有些公司用consul-template去动态生成监控配置，但这种方案容易出问题，因为consul的模板更新可能触发exporter重启，导致服务中断。所以得设置合理的模板更新策略，比如只在特定时间点更新。

另外，本地缓存监控告警不能只依赖一个工具，得做多源采集。比如，redis有慢日志，memcached有stats，但两者数据格式不同，得分别处理。有时候会用beanstalkd来监控队列，但缓存监控不是队列监控，不能混淆概念。在实际操作中，一定要确认每个指标的采集频率和存储方式，比如Prometheus默认存储15天数据，但有些指标可能只保留几个小时。这样一旦出现性能问题，历史数据不够，很难定位具体时间点的问题。采集工具的版本也得保持一致，否则指标可能不兼容。

本地缓存监控告警的关键是指标采集和规则配置。常用工具包括redis_exporter、memcached_exporter、jmx_prometheus_config、node_exporter。这些工具都有不同的配置方式，比如redis_exporter需要指定redis的地址和密码，memcached_exporter则要配置memcached的端口和协议。在k8s里部署exporter，最好用sidecar模式，这样不影响主容器运行。有些公司用consul-template去动态生成监控配置，但这种方案容易出问题，因为consul的模板更新可能触发exporter重启，导致服务中断。所以得设置合理的模板更新策略，比如只在特定时间点更新。

此外，要避免误报，告警规则得写得精确。比如，命中率低于80%是阈值，但得排除正常波动。我见过有人在白天流量高峰时命中率掉到75%，结果误报警，影响了正常运维。这说明规则里得加一些降噪手段，比如时间窗口、滑动平均或者过滤某些特殊场景。报警信息也要清晰，不能只说“qps高”，得说明是哪个服务、哪个实例，甚至哪个节点的问题。这样运维才能快速定位和处理。

配置redis_exporter的时候，记得加上--redis.addr参数指定redis的地址，比如redis://localhost:6379，还要加--redis.password设置密码。如果redis启用了TLS，得用--redis.tls参数开启。有些人没注意这点，导致采集失败。在k8s里，可以挂载secret到容器里，让exporter使用这些密码。同时，要注意exporter的资源限制，比如CPU和内存，否则容易被挤出资源。还有，exporter的日志要打到标准输出，方便logstash收集。

监控告警系统不能只盯着缓存，得结合应用层日志和数据库监控。比如，当缓存命中率下降时，可以关联查看应用日志有没有异常，或者数据库响应时间有没有变长。这样能更快定位问题根源。我见过一次缓存服务故障，其实是应用代码没有正确设置缓存key，导致大量重复请求。监控系统没发现，但日志里有明显异常。这种情况下，告警系统只能作为辅助工具，不能替代日志分析。所以得把日志监控和缓存监控结合起来，形成完整的监控体系。

在写告警规则时，使用Prometheus的表达式语言，比如redis_cache_miss_rate{job="redis"} > 0.2，这样能快速筛选出异常。有些公司为了简化规则，直接用静态阈值，结果在不同业务场景下无法通用。比如电商高峰期和低峰期的缓存qps差异很大，用统一规则容易误报。所以得根据业务场景调整阈值，甚至用动态阈值算法，比如基于历史数据的百分比。这样能减少误报，提升告警的准确性。不过动态阈值算法复杂，需要额外的组件支持。

本地缓存监控告警的一个关键点是及时性。监控数据延迟太大会错过问题发生的最佳处理窗口。所以采集工具的scrape_interval要设小，比如10秒。但采集间隔太小又会增加系统负载，容易导致性能问题。我见过一个案例，因为把scrape_interval调到5秒，结果exporter的资源耗尽，导致监控服务挂掉。这是典型的配置不当导致的连锁故障。所以得在监控精度和系统稳定性之间找到平衡，常见做法是根据业务重要性动态调整，比如关键业务用10秒，非关键业务用30秒。

本地缓存监控告警不能只依赖Prometheus，得考虑其他方案。比如，有些公司用Zabbix+redis的监控脚本，或者用Telegraf+InfluxDB+Grafana组合。这些方案各有优劣，Zabbix的配置比较繁琐，但支持丰富的告警方式；Telegraf适合做日志和指标采集，但处理逻辑不如Prometheus灵活。在实际部署中，我见过一些混合方案，比如用Prometheus监控核心指标，用Zabbix监控连接数，这样能覆盖更多维度。不过这种方案需要统一管理，避免数据混乱。

本地缓存监控告警的另一个关键点是告警渠道的选择。比如，有些公司用钉钉作为主要告警渠道，但钉钉的推送频率有限，容易被误判为误报。这时候得配合邮件或者短信渠道，确保关键告警能及时通知到责任人。我见过一个项目，因为钉钉告警没及时处理，导致缓存服务积累大量未命中，最终数据库负载过高。所以得设置多个告警渠道，每个渠道的优先级也要明确。比如，高优先级用短信，低优先级用邮件，这样能分层次处理问题。

本地缓存监控告警的文件配置要规范，比如Prometheus的配置文件里，每个exporter的job名称、采集间隔、scrape_url都要写清楚。我见过有人把多个exporter的job写在一起，结果采集顺序不对，导致数据混乱。所以得为每个服务单独配置job，避免冲突。比如redis的job名称是redis_cache，memcached是memcached_cache，这样能区分清楚。此外，exporter的配置文件也要严格校验，避免语法错误导致采集失败。

本地缓存监控告警的采集方式要灵活，比如有些服务支持jmx，可以使用jmx_prometheus_config来导出指标。但配置jmx时，得确保JVM参数正确，比如开启com.sun.management.jmxremote。如果没开启，exporter会采集不到数据。我见过有人因为JVM参数没配好，导致jmx导出失败，最终监控系统无法正常工作。所以配置JVM参数是必须的，不能省略。同时，exporter的启动参数也要检查，比如--web.disable-exporter-metrics，这个参数会关闭导出的指标，得确保不启用。

本地缓存监控告警的指标要合理，比如命中率、空闲内存、连接数、qps这些指标是核心。有些公司只监控命中率，忽略了连接数，结果发现连接数暴增，导致服务响应变慢。这说明监控要覆盖多个维度，不能只看一个指标。在实际操作中，我见过有人用redis的keyspace和keycount来监控缓存的使用情况，但这些指标没有内置告警，得自己写规则。这种做法虽然可行，但容易漏掉异常。

本地缓存监控告警的告警渠道要配置好，比如钉钉webhook地址、飞书机器人token、邮件服务器配置等。这些配置在alertmanager的配置文件里都要写清楚。我见过有人忘记配置webhook地址，导致报警无法发送，最终问题被忽略。所以告警渠道不能遗漏，必须测试各种方式是否正常。同时，报警信息要简洁明了，比如直接提示“redis命中率低于80%”，而不是报一堆指标的值，这样运维更容易快速定位。

本地缓存监控告警的部署要考虑高可用。比如，Prometheus的采集节点要是集群部署，避免单点故障。我见过一个生产环境，因为Prometheus节点挂掉，导致整个监控系统瘫痪，排查了几个小时才恢复。这说明监控系统本身也要有高可用设计，比如用多个采集节点，确保采集数据的可靠性。同时，exporter的部署也要考虑冗余，避免某个服务的exporter宕机影响整体监控。

本地缓存监控告警的指标采集不能依赖单一方式，比如redis的INFO命令会阻塞，不建议高频采集。我见过有人用INFO命令每秒采集一次，结果导致redis性能下降。正确的做法是用redis_exporter来暴露指标，这样采集是无侵入的。同时，采集数据要定期清理，避免Prometheus存储空间不足。比如，设置retention为7天，这样能保证数据不被自动删除，同时不会占用太多磁盘空间。

本地缓存监控告警的自动化处理也很关键，比如当命中率低于阈值时，自动触发数据回滚或者切换到备用缓存节点。这种方案能减少人工干预，提高系统稳定性。我见过一个项目，因为缓存服务故障，自动触发了数据库的读写分离，避免了全量请求访问数据库。这种自动化处理虽然复杂，但在关键业务中非常必要。所以得在告警规则里设置适当的处理动作，比如发送通知、执行脚本或者触发某个服务的降级流程。