13个ClickHouse监控告警，面试高频

▌ 技术引导 监控告警是ClickHouse运维中必须拿捏的命门，从2024年到现在，我见过太多人因为没盯住监控，直接把集群干挂。核心是别光盯着日志，数据波动、资源瓶颈、查询性能和系统健康这些维度得同步拉进来，缺一不可。监控告警不是装个工具就完事，要和实际业务场景对齐，比如写入延迟超过5秒就要触发，内存使用率超过85%必须立刻报警。别信那些自动化的鬼话，得自己写脚本解析日志，再配合Prometheus+Alertmanager做联动。我见过有人用Zabbix做监控，配置得极其繁琐，不如直接上Prometheus+Grafana，再用exporter做数据采集，精确度和灵活性强。监控是对抗故障的第一道防线，告警策略要像手术刀，精准到毫秒级，别整那些宽泛的规则。 ▌ 技术参考 一 ClickHouse监控体系的构建不能只靠官方日志，必须嵌入资源消耗、查询耗时、磁盘IO这些硬指标。2024年以后，大多数团队都在用Prometheus+Alertmanager这套组合，因为它们支持动态阈值调节，特别是配合Histogram指标，能精准定位写入延迟。我见过有人在生产环境直接用apt安装Prometheus，结果没配置好，导致监控数据不全，最终用clickhouse-exporter替代，才把指标覆盖完整。配置exporter时别忘了加--config.file参数指定配置，否则默认会读取配置文件夹下的所有配置，容易出现冲突。 二 配置ClickHouse监控的首选方式是使用system.parts、system.mutations、system.query_log这些内置系统表。2025年以后，这些表的查询性能明显提升，特别是加了MergeTree引擎之后，查询速度能优化30%。我从没用过官方的监控工具，因为它们太鸡肋，不如自己用system.query_log抓取SQL语句，再用clickhouse-client导出到Prometheus。写监控查询时别用SELECT ，要指定字段，否则数据量太大，监控会卡顿。例如SELECT event_time, query_id, elapsed, type FROM system.query_log WHERE event_time > now() - 1h LIMIT 100，这样既能控制数据量，又能获取关键信息。 三 告警规则的配置是整个监控系统的灵魂，我见过太多人把告警设成“内存使用率超过80%就报警”，结果系统负载正常的情况下就频繁告警，完全没意义。2026年有客户用Prometheus Alertmanager做多级告警，比如写入延迟超过10秒触发一级告警，超过20秒触发二级告警，超过30秒直接触发三级告警，这样能有效区分紧急程度。告警模板要写得清晰，比如{instance} {label} {value}这样的格式，方便运维快速干预。别用简单的文本报警，要加时间戳和具体指标值，避免误判。 四 在ClickHouse中做性能监控，最重要的是监控数据写入和查询的延迟。2024年以后，Prometheus的clickhouse_exporter已经支持更多指标，比如system.cpu.utilization、system.memory.utilization、system.disk.io_time等。我用的是Prometheus的阈值规则功能，比如expr: (avg_over_time(clickhouse_server_memory_usage{job="clickhouse"}[1m]) / avg_over_time(clickhouse_server_memory_total{job="clickhouse"}[1m]) > 0.9，这样就能检测出内存使用超过90%的情况。写这类规则时要明确时间窗口和指标类型，别乱加，否则会漏掉关键信号。 五 踩坑场景里最常见的是监控数据采集不全，尤其是当集群规模扩大后，不配置正确的exporter参数会导致监控失效。2025年我帮一个团队排查，发现他们的exporter只采集了主节点的指标，忽略了从节点，结果从节点性能问题没被发现，导致整个集群数据同步延迟。配置exporter时要记得加--clickhouse-host参数，指定所有节点的IP，别只埋头一个节点。另外，exporter的采集频率要合理，比如设置--scrape-interval=30s，这样不会对系统造成太大压力，又能及时发现问题。 六 ClickHouse的写入延迟监控不能只看单条数据，要结合数据分片和复制策略，比如在集群中有多个副本的情况下，写入延迟可能被平均，但实际某个副本的延迟已经很高。2026年我遇到一个案例，他们用Prometheus采集到主副本写入延迟是5秒，但从副本延迟是30秒，结果直接导致数据不一致。这时候需要用system.mutations表监控mutation的执行状态，特别是status字段，如果发现很多mutation处于“wait_for_data”状态，说明写入压力大，需要扩容或优化表结构。加个WHERE status='wait_for_data'过滤会更精准。 七 在监控告警系统中，别忘了加入查询性能分析。2024年之后，很多团队开始用system.query_log结合Prometheus做分析，特别是抓取query_id和elapsed字段。我见过有人用Grafana做可视化监控，结果发现某个SQL的执行时间突然暴涨，但系统日志里没显示，最后才发现是某个JOIN操作导致的。这时候要结合query_log表里的query和query_plan字段，用clickhouse-client导出到Elasticsearch做全文搜索，快速定位问题。不过这个操作会消耗不少资源，建议只在特定时间段执行，比如晚上低峰期。 八 告警信息的精确度是关键，别用模糊的标签，比如{job}、{instance}这些，要加更具体的label，比如{table}、{query_type}、{partition}。2025年有客户用这种方式成功捕获了某个大表的写入问题，因为他们的query_type标签能区分是INSERT还是SELECT。配置Alertmanager的时候，别忘了加route字段，把不同的告警路由到不同的负责人。比如： - route: - receiver: 'dev-team' - match: - instance =~ ".-main." - table != "system" 这样就能把主要业务表的告警发给开发团队，而系统表的告警可以由运维处理。 九 数据存储层的监控不能忽视，尤其是磁盘IO和读写延迟。2024年我用Prometheus监控一个生产环境，发现磁盘IO_time经常超过200ms，这时候必须介入检查。别用简单的监控指标，要结合system.parts和system.mutations表，看看哪些表在频繁刷新，或者哪些表的parts数量异常增长。比如： SELECT database, table, parts, data_parts, data_bytes, index_bytes FROM system.parts WHERE active = 1 ORDER BY data_bytes DESC LIMIT 10 这个查询能帮助发现数据存储的瓶颈，特别是当数据量爆炸式增长时。记得设置合理的查询频率，比如每小时执行一次，否则容易漏掉关键变化。 十 告警通知方式选对了，才能真正解决问题。2026年我用的是Slack+钉钉双通道，因为Slack在开发团队中使用率高，而钉钉更便捷通知运维人员。配置Alertmanager时，别用简单的webhook，要加上headers和token认证。比如： - receivers: - name: 'slack' slack_configs: - api_url: 'https://hooks.slack.com/services/xxx' channel: '#alert' title: 'ClickHouse异常告警' text: '数据库：{{ $labels.instance }}，指标：{{ $labels.metric }}，值：{{ $value }}，时间：{{ $time }}' 这样能确保告警信息清晰可读。别忘了设置重试机制，比如max_retries: 5，避免网络问题导致消息丢失。 十一 磁盘空间监控是重中之重，2025年有客户因为磁盘满了直接导致集群崩溃，重启后数据全丢。这时候要配置磁盘空间阈值，比如当磁盘使用率超过90%时报警，超过95%时强制扩容。用Prometheus的clickhouse_exporter采集disk_usage和disk_total字段，然后用Prometheus的range函数做趋势分析，比如： expr: disk_usage{job="clickhouse"} / disk_total{job="clickhouse"} > 0.95 这个规则能提前预警，别等到磁盘满了才处理。监控磁盘的时候，要区分表的存储位置，比如某些表可能存到其他磁盘，这时候要加disk_path标签去过滤。 十二 当监控系统出现误报时，要精准分析。2024年有个案例，监控系统频繁报出“内存使用率过高”，但实际上是因为某个批量查询导致的，正常情况下不会超过阈值。这时候要结合query_log表里的query和query_plan字段，用clickhouse-client导出到Elasticsearch做全文检索，快速定位问题。别让告警系统成为噪音源，要定期清理误报数据，比如用： SELECT query, elapsed, query_id, user FROM system.query_log WHERE event_time > now() - 1h AND query LIKE '%slow%' ORDER BY elapsed DESC LIMIT 10 这个查询能帮我们过滤出可疑的SQL，避免被误报干扰。 十三 系统健康监控要包括CPU、内存、磁盘IO和网络延迟这些硬指标。2026年我用的是Prometheus采集系统级指标，比如： - clickhouse_server_cpu_usage{job="clickhouse"} - clickhouse_server_memory_usage{job="clickhouse"} - clickhouse_server_disk_io_time{job="clickhouse"} - clickhouse_server_network_receive_bytes{job="clickhouse"} 这些指标能帮助我们判断整个集群的负载情况。当CPU使用率超过80%，或者磁盘IO时间超过200ms，就要考虑是否需要扩容。network_receive_bytes这个指标特别重要，因为某些高流量场景下，网络成为瓶颈，这时候必须及时处理。 十四 跟踪查询执行计划是另一个关键点，2025年我遇到一个查询性能突然下降的问题，最终发现是JOIN操作导致的。这时候要结合query_log表里的query_plan字段，用clickhouse-client导出到Grafana，做可视化分析。比如： SELECT query, query_plan, elapsed FROM system.query_log WHERE event_time > now() - 1h AND query LIKE '%JOIN%' ORDER BY elapsed DESC LIMIT 10 这个查询能帮我们快速定位那些执行计划复杂、耗时长的查询。别忽略query_plan这个字段，它能直接反应查询的性能问题，特别是对大表做JOIN操作时。 十五 在监控系统中加入日志分析是2024年以后的标配，特别是当系统出现不可预知的错误时。我用的是Elasticsearch+Kibana来分析日志，把query_log表中event_time和query_id作为索引字段，再用Grafana做时间序列分析。比如配置一个elasticsearch索引模板： PUT /clickhouse-logs { "settings": { "number_of_shards": 3, "number_of_replicas": 1 }, "mappings": { "properties": { "event_time": { "type": "date" }, "query_id": { "type": "keyword" }, "query": { "type": "text" }, "type": { "type": "keyword" } } } } 这样能确保日志查询的效率。别用简单的日志采集方式，要结合logrotate和rsyslog做实时监控，避免日志堆积影响分析效率。 十六 如果监控系统性能跟不上，可以考虑用更轻量的方案，比如使用Kafka+Fluentd+Prometheus的组合，把日志先发到Kafka，再用Fluentd做日志处理，这样能提升数据采集效率。2026年有个项目因为日志采集太慢，导致监控延迟，最终改用这种方式，效率提升了50%。采集日志的时候要记得加--log-level=trace，这样能获取更详细的执行信息。配置Fluentd的时候别忘了设置到Prometheus的接收端，否则数据会丢失。 十七 告警信息的实时性决定了响应效率，2025年我用的是Alertmanager的send_configs配置，把告警发送到Slack和钉钉，同时设置alertmanager的group_by字段，确保同一个告警不会重复发送。比如： - send_configs: - name: 'slack' webhook_url: 'https://hooks.slack.com/services/xxx' group_by: ['alertname', 'job', 'instance'] repeat_interval: 5m 这样就能避免误报。别信任默认的告警配置，要自己调整group_by和repeat_interval，避免告警风暴。监控系统的稳定性直接关系到业务的连续性，不能掉以轻心。