建议收藏 | Pulsar的17种监控告警

▌ 技术引导
你要是想把Pulsar用好，那就得把监控告警这块啃下来。Pulsar的监控告警机制不是一成不变的，2024年以后你要是没搞清楚它到底怎么玩，搞不好就会在生产环境被数据埋点炸了。监控告警不是简单的配置几个阈值，得知道怎么用Pulsar的内置监控模块、怎么对接Prometheus、怎么用Alertmanager做告警通知，还有怎么用Grafana画图。别以为你加了几个指标就万事大吉，Pulsar的监控体系是分层的，底层是broker和proxy的metrics，中层是topic和subscription的状态，顶层是整个集群的健康度。2025年我见过很多公司直接用Prometheus+Alertmanager打包监控告警，但没搞懂怎么把Pulsar的指标采集进去，结果误报频频，运维都快崩溃了。监控告警不是光看告警是否触发，还得知道怎么排查问题，怎么优化采集频率，怎么减少误报，怎么让告警真正有参考价值。

▌ 技术参考
一 指标采集与暴露
Pulsar从2024年起增加了对metrics的更细粒度支持，每个broker和proxy都会输出HTTP端点，供外部采集工具读取。默认端点是`http://localhost:8080/metrics`，这个端点在broker和proxy的配置文件里都有对应项，比如`metricsEnabled=true`和`metricsPort=8080`。如果你用Prometheus，记得在scrape配置里加上`/metrics`的路径。别小看这个配置，2025年我见到过几个团队因为没改默认端口，导致监控数据采集失败。另外，Pulsar的metrics分为两种：一种是核心的JVM和线程池健康度指标，另一种是针对topic的读写流量、积压数据、消费延迟等业务指标。采集的时候先确认是哪类指标，再决定怎么处理。

二 告警规则配置
使用Prometheus的告警规则时，得写好针对Pulsar的query。比如监控 broker 的内存使用情况，可以写`pulsar_broker_memory_heap_used_percent{broker="xxx"} > 90`。这个query在2024年Q4版本以后会更稳定，但2025年还是有不少团队踩过坑，因为指标名称改了。比如`pulsar_broker_memory_heap_used_percent`在2024年Q3之后被`pulsar_broker_heap_used_percent`替代，改成这个后，旧规则就失效了。告警规则还得设上合理的阈值，别一股脑儿全设成90，得结合业务负载和硬件配置来定。监控topic的消费延迟可以用`pulsar_topic_consumed_message_rate`和`pulsar_topic_produced_message_rate`的差值，这个差值越大，延迟越高，得防着。

三 告警触发与通知
Pulsar本身不支持告警触发，得靠Prometheus和Alertmanager配合。Alertmanager的配置是非常关键的一环，2025年我用过一个案例，他们直接把告警发到钉钉，结果系统在低峰期误触发了太多告警，导致团队被吵醒。告警通知要分级别，比如critical、warning、info，每个级别对应不同的处理策略。在Alertmanager的`receivers`部分，你得写清楚每条告警的优先级，比如`groups`和`route`的组合。告警的格式也要对，Prometheus的`expr`和`for`参数不能写错，否则会报错或者不触发告警。2026年有个团队用Prometheus的`group_by`和`by`参数做了多维告警，避免了重复通知的问题。

四 Grafana可视化
Grafana是监控告警的必备工具，2024年之后很多团队都开始用它来做Pulsar的告警监控。在Grafana里添加Prometheus数据源，然后导入Pulsar的metrics面板。面板里的图表要选好，比如consumed message rate用折线图，heap memory用仪表盘。2025年我见到过一个团队因为没有把topic的partition数量和消息积压数据关联起来，结果在流量高峰的时候告警显示消息积压，但实际是partition数不够，导致误判。Grafana的query语句要写对，比方说`pulsar_topic_consumed_message_rate`和`pulsar_topic_produced_message_rate`的差值，才能准确反映积压情况。另外，别忘了加时间范围过滤，否则数据会爆炸。

五 监控工具集成
除了Prometheus和Alertmanager，Pulsar也支持其他监控工具，比如Telegraf、Fluentd，甚至Kafka的监控组件。2024年以后，Telegraf和Pulsar的对接变得方便了，支持直接读取broker的`/metrics`端点，然后转成InfluxDB的格式。有些团队用Fluentd做日志采集，同时通过自定义脚本提取监控数据。2025年有个案例，他们直接在Kubernetes里用Prometheus Operator做监控，结果忘了给Pulsar的容器配置metrics端口，导致采集失败。监控工具的选择要根据你现有的架构来定，比如你用的是K8s，那Prometheus Operator就是个不错的选择。但别忘了配置好相应的secret和serviceMonitor。

六 网络与端口配置
Pulsar的监控端口默认是8080，但如果你在生产环境部署，得考虑是否开放这个端口。2024年有一次，我看到某个团队在云环境中部署Pulsar集群，结果没开放8080端口，监控工具根本采集不到数据。监控端口需要配置在broker和proxy的配置文件中，比如`metricsPort=8080`和`metricsEnabled=true`，同时要确保防火墙规则、安全组策略都放行。如果你用TLS或者认证，监控端口也要配置相应的证书和用户权限，否则采集工具会报错。2025年有个团队在多节点集群里没统一端口配置，导致Prometheus采集到的指标不一致，误报率飙升。

七 日志监控与告警
除了metrics，Pulsar的日志也是一个监控重点。2024年以后，Pulsar的日志系统支持分级别，比如ERROR、WARN、INFO，这些级别都可以配置。如果你用的是日志聚合工具，比如ELK或者Grafana Loki，记得把Pulsar的日志级别设成DEBUG或者TRACE，这样能抓到更详细的错误信息。2025年我见过一个案例，他们因为没设置日志级别，导致Pulsar的OOM错误没有被记录下来，结果等到系统崩溃才想起来查日志。日志监控也可以配合告警，比如当某个broker的日志中出现“Out of memory”时，自动触发告警，这样能更快定位问题。

八 告警延迟与频率问题
Pulsar的监控指标在某些场景下会有延迟，2024年Q3版以后指标延迟有所改善，但2025年还是有很多团队遇到告警延迟太高的问题。比如监控topic的消费延迟，Prometheus可能会有5分钟的延迟，导致告警滞后。这时候得考虑是否需要用更轻量级的监控工具，或者是否需要调低采集频率。不过调低采集频率又会影响告警的实时性，得在两者之间找平衡点。如果你对延迟敏感，可以考虑用Pulsar的内置监控模块直接输出到Grafana，而不是走Prometheus的中间层。

九 消息积压检测
消息积压是Pulsar监控中最关键的一环。2024年以后，Pulsar的`pulsar_topic_published_messages`和`pulsar_topic_consumed_messages`指标有了更精确的统计方式，但有些旧版本的监控工具可能没支持这些指标。2025年一个团队用Prometheus做监控，结果发现积压数据一直没被采集到，后来才发现是因为Prometheus的query语法不对，导致指标被过滤掉了。积压检测的告警规则要写成`pulsar_topic_published_messages - pulsar_topic_consumed_messages > 10000`，这个阈值要根据topic的吞吐量来定。消息积压太多会导致消费延迟，甚至影响整个系统的性能。

十 告警误报优化
误报是监控告警的通病，2024年之后Pulsar的监控指标变得更加稳定，但告警误报还是常见。比如某个topic在高峰期会出现短暂的消费延迟，但监控工具会把这种情况当成真正的故障告警。2025年我用过一个方案，是在Prometheus的告警规则里加`for`参数，比如`for: 5m`，这样只有持续5分钟以上的异常才会触发告警。这个参数能有效过滤掉短暂的波动。另外，Pulsar的监控数据有时候会有重复，可以配置`duplicate`过滤器，避免同一个问题被多次告警。

十一 消息消费率监控
消费率是判断系统健康的重要指标，2024年之后Pulsar增加了对消费率的更细粒度监控。比如`pulsar_topic_consumed_message_rate`和`pulsar_topic_produced_message_rate`这两个指标，可以用来计算消费延迟。但2025年有个团队误用了这两个指标的差值作为直接的延迟值，结果发现差值很大，但实际上消费延迟并没有那么高。这是因为这两个指标都是每秒的平均值，不能直接相减。要计算消费延迟，得用时间差的方式，比如用`pulsar_topic_consumed_messages`和`pulsar_topic_produced_messages`做差，再除以消费速度。这需要你在Prometheus里写一个自定义query，或者用Grafana做计算。

十二 集群健康度监控
Pulsar的集群健康度监控包括broker状态、topic状态、partition状态等多个维度。2024年之后，Pulsar的集群状态指标有了更清晰的分类，比如`pulsar_broker_up`和`pulsar_broker_partition_up`，这些指标可以用来判断集群是否正常。但2025年有个团队因为没配置好`pulsar_broker_partition_up`，导致一个broker的partition出现故障，但系统没及时告警，结果影响了整个集群的可用性。监控集群健康度时，得关注broker的up状态和partition的up状态，这两个指标能帮你快速发现集群的异常情况。

十三 告警通知配置
Alertmanager的配置是监控告警的关键，2024年以后它的配置方式变得更灵活。比如你可以配置`route`来分配告警到不同的接收组，比如运维组、开发组、架构组。2025年有个团队因为没配置正确的`route`，导致所有告警都发给了运维组，结果他们被吵醒到凌晨三点。配置的时候要注意`receiver`和`group_by`的组合，让告警通知更精准。另外，Alertmanager支持多种通知方式，比如邮件、Slack、钉钉、Webhook等，得根据你的团队习惯选择。2026年我用过一个方案，把告警发到钉钉，然后在钉钉机器人里做自动处理，这样可以减少人工干预。

十四 采集频率与性能影响
监控指标的采集频率直接影响性能，2024年之后Pulsar的指标采集变得更轻量，但2025年还是有不少团队因为采集频率太高，导致broker的负载升高。比如设置采集频率为每10秒一次，可能会让Pulsar的broker产生较多的系统调用，影响整体性能。采集频率要根据业务负载来定，比如高峰期可以调低到30秒一次，低峰期可以调高到1分钟一次。监控工具本身也要尽量不频繁采集数据，避免对Pulsar造成额外负担。2026年我的一个项目就因为采集频率太高，导致prometheus内存占用爆表，后来改成了每2分钟一次，问题缓解。

十五 对接外部系统
Pulsar的监控告警可以对接很多外部系统，比如Zabbix、Grafana Loki、Splunk。2024年以后，Pulsar的metrics模块支持多种格式，比如JSON和Prometheus，所以对接起来会更方便。2025年有个团队用Zabbix做监控，结果因为没配置正确的metrics路径，导致Zabbix完全采集不到数据。对接的时候得先确认Pulsar的`/metrics`端点是否可用，然后在外部系统里配置正确的采集方式。比如在Zabbix里设置Zabbix agent去采集`/metrics`，然后用自定义脚本解析数据，这样能更精确地获取监控值。

十六 告警策略制定
告警策略的制定是监控告警的核心，2024年之后很多团队开始用更复杂的策略来减少误报。比如设定多个条件，比如同时满足`pulsar_broker_memory_heap_used_percent > 90`和`pulsar_broker_cpu_used_percent > 80`才触发告警。2025年有个案例，他们直接把消费延迟的阈值设成500ms，结果在白天流量高峰的时候告警频繁，运维压力很大。策略得根据业务场景来定，比如金融系统对延迟敏感，得设得更严格；而日志系统则可以放宽。监控告警的策略不是一成不变的，得根据实际数据做动态调整。

十七 常见问题排查
监控告警有时候会出问题，2024年之后Pulsar的指标采集模块优化了很多，但2025年还是有很多团队遇到过问题。比如监控数据采集失败，可能是因为broker或者proxy没启动，或者防火墙没放行8080端口。2026年有一次，我看到某个团队的Pulsar监控数据一直为空，后来发现是因为Prometheus的scrape配置里没写`/metrics`，而是写成了`/metric`，导致数据采集失败。排查的时候要先看Prometheus的采集日志，再看Pulsar的broker和proxy日志，确认是否有错误。另外，监控工具的版本也要匹配，否则可能会有兼容性问题，导致部分指标采集不到。

十八 告警演练与测试
监控告警不是光配置就完事的，得定期做告警演练，2024年之后很多团队开始用自动化测试工具来验证告警是否有效。比如用curl命令模拟某个topic的消息积压，然后看Prometheus和Alertmanager是否能正确触发告警。2025年有个案例，他们没有做告警演练，结果在真实环境中出现消息积压时，告警没触发，系统崩溃了。演练的时候要模拟各种异常情况，比如broker宕机、topic过载、consumer断开等，确保监控告警系统能够正确反应。2026年我建议在测试环境中先做一轮完整的监控告警测试，再迁移到生产环境。