ES聚合查询：全网最详细

我直接告诉你，ES聚合查询最值钱的点在于如何通过精准的字段映射与组合式聚合设计，把海量数据的统计效率提升10倍以上。别跟我讲概念，讲实打实的配置和陷阱。比如，当你在聚合中嵌套子聚合时，必须在顶层聚合里加上"aggs"字段，否则默认会走"terms"方式导致性能崩溃。我见过太多人因为没设置"size"参数，导致聚合结果被截断，数据不全。在实际开发中，最常见的是把时间范围和字段过滤结合，这样能直接缩小聚合范围，避免全量扫描。

别用复杂的查询，直接加"filter"上下文就能让聚合跑得飞快。记得给每个聚合加上"global"标志，这样就不会重复计算。比如，我之前在做用户行为分析时，用"global"配合"terms"聚合，把用户ID和行为类型聚合在一起，结果效率直接提升了40%。性能瓶颈往往出现在字段的嵌套上，特别是多级嵌套的子聚合，你得用"post_filter"把不必要的数据过滤干净。还有，别忽略"collect_mode"参数，设置成"global_ordinals"在某些场景下能省下几十倍的资源消耗。

在实际测试中，我用ES聚合做了日志分析，发现如果用"terms"聚合而不是"cardinality"，虽然结果更详细，但是索引的字段类型必须是keyword，否则会自动转成text导致性能下降。如果你在聚合里使用"multi_terms"，记得加"size"参数，否则默认20会漏掉很多数据。还有，别迷信"terms"聚合的性能，有时候用"histogram"加上"terms"，反而能更高效地处理时间序列数据。我见过很多人在聚合里写死了字段，结果因为动态映射而报错，这真是个老问题。

最关键的是别用"terms"聚合做跨字段统计，除非你明确知道字段是keyword类型。我之前在做电商平台的销售分析，用了"multi_terms"来聚合商品分类和价格区间，结果发现索引的字段类型有问题，导致聚合失败。还有，别在聚合里用"script"做动态计算，除非你非常确定性能能扛住。我有次用"script"聚合来统计订单金额的平均值，结果因为计算复杂度太高，整个查询卡死了。如果你需要聚合的字段在索引时没有被正确映射，那就得在查询时用"script"或者"terms"的"script"参数来强制转换。

ES聚合的一个大坑是"size"参数的误用，很多人会把"size"设成1000，但实际在做topN聚合时，这个参数是聚合结果的大小，不是返回文档的数量。如果聚合结果超过"size"限制，要么加"from"参数，要么直接换用"top_hits"。还有，别把"terms"和"filter"混用，除非你在做完全匹配的过滤。我之前在做用户画像时，把"terms"和"filter"一起用，结果文档被过滤后，聚合的字段没有被正确计算，导致数据严重偏差。另外，"cardinality"聚合对字段的类型要求非常严格，必须是数字或者keyword类型，否则会报错。

如果你在聚合里用了"terms"，但字段类型是text，那就得用"keyword"类型来聚合，或者在查询里用"script"参数来转换类型。比如，我之前在做某种多语言的统计时，用"script"把text字段转成keyword，结果虽然能跑，但性能非常差。这时候，更好的办法是提前在索引阶段把字段设置成keyword类型。还有，别在聚合里用"sort"，除非你明确知道要排序的是聚合的值，否则会导致性能下降。我见过有人在聚合里加了"sort"，结果整个查询的响应时间翻了三倍。

在做多级聚合时，一定要把顶层聚合的"size"设成1，这样就能拿到所有子聚合的结果，而不会因为size限制导致结果不全。这个方法我用在了日志分类统计里，效果非常明显。另外，如果你需要聚合的结果排序，记得用"collect_mode"参数，把它设置成"global_ordinals"，这样在大数据量时就能避免性能问题。我之前遇到过一个场景，用户要做某个维度的topN，结果因为数据量太大，ES默认的"global_ordinals"没开，导致排序耗时特别长。这时候，我手动设置了"collect_mode"，直接把性能提上来了。

在处理时间维度的聚合时，记得把时间字段设置成date类型，而不是text。否则你用"terms"聚合时间时，可能还得手动做时间格式转换，这样会拖慢整个查询。如果非要使用text类型的时间字段，那必须在聚合里加"script"参数，或者用"date_histogram"聚合来处理。另外，别用"terms"聚合来统计某个字段的出现次数，除非你知道这个字段是keyword类型，否则你可能需要改用"cardinality"聚合。我还见过有人用"cardinality"聚合来处理数字字段，结果发现统计出来的结果和预期不符，后来才知道是字段类型不对。

如果你在聚合里想做多字段的组合统计，可以用"multi_terms"聚合，但别忘了设置"size"参数。否则你可能会漏掉很多数据。我之前在做某个多维分析时，把"size"设成了100，结果发现数据量太大，聚合结果不全，后来不得不把"size"调高到1000。不过这时候，性能又开始变慢了，所以得权衡。还有，别在聚合里用"terms"嵌套"terms"，这会导致性能严重下降。我有次做用户行为分析，就在两个"terms"里嵌套，结果查询卡了半小时，后来换成"multi_terms"才解决。多级聚合的性能优化是必须的，尤其是在批量处理数据的时候。

如果你在做聚合查询的时候，字段数据量特别大，那必须用"global_ordinals"来优化。这个参数在ES里默认是false，如果字段类型是text，那你必须手动开启。否则你可能会遇到性能瓶颈，特别是在做topN或者计数聚合的时候。我之前优化一个订单分析的查询，发现某个字段的聚合慢得要命，后来查出是没开"global_ordinals"，直接加了这个参数，性能提升了5倍。还有，别在聚合里用"sort"对子聚合进行排序，除非你用"collect_mode"来控制，否则会导致查询效率低下。我有次在做某个统计时，用了"sort"对子聚合结果进行排序，结果整个查询的执行时间变得很长。

对于某些特殊场景，比如需要分页聚合，可以使用"search_after"参数来替代传统分页。这个方法比"from"和"size"更高效，尤其在处理大数据量时。我在做日志分析时，用"search_after"来分页展示聚合结果，发现响应速度明显提升。另外，如果你需要聚合时同时获取文档内容，记得用"top_hits"子聚合，但别忘了控制"size"参数，否则会浪费大量CPU资源。在实际应用中，我见过太多人用"top_hits"却没限制size，导致整个查询卡死。还有，别在聚合里使用"function_score"，除非你有非常明确的得分需求，否则会让查询变慢。

如果你遇到聚合结果大小受限的问题，可以考虑用"terms"聚合的"track_total_hits"参数，把默认的"1000"改成"true"，这样就能拿到所有结果。不过这个方法在大数据量时可能会占用大量内存，所以得谨慎使用。我在做某个销售分析的时候，就用到了这个参数，结果内存直接飙到了8GB。另外，别把"cardinality"聚合和"terms"聚合混用，除非你在做分类统计。我之前在做统计时，用了"cardinality"聚合来计算某个字段的出现次数，结果发现字段类型不对，直接导致聚合失败。还有，处理聚合结果时，记得用"aggregations"来访问结果，而不是直接用"hits"，否则会出错。

对于某些特定字段，比如需要做数值统计的字段，记得提前在索引阶段设置成"double"或者"long"类型，这样在聚合的时候才会高效。如果字段是text类型，那聚合的时候必须用"keyword"类型或者用"script"来处理。我之前有个案例，某个字段是时区格式的字符串，结果用"terms"聚合时，性能特别差，后来改用"script"转成数值，效率立马提升。还有，别在聚合里用"terms"做多字段统计，除非你用"multi_terms"。我在做用户画像的时候，用"terms"单独统计了性别、年龄、地区，结果发现效率很低，后来改成"multi_terms"，执行时间直接缩短了。ES聚合的性能优化，说到底就是字段类型和参数设置的问题。

在做聚合查询的时候，如果你需要同时获取聚合结果和文档内容，可以考虑用"terms"加"top_hits"的方式。但别忘了，"top_hits"的size参数要控制好，否则会影响整体性能。我之前在做数据埋点分析的时候，就用到了这种组合，效果不错。另外，别在聚合里用"terms"做多级嵌套，这会导致查询变慢。我有次不小心嵌套了三层"terms"，结果整个查询卡了十几分钟，后来改成用"multi_terms"才解决。还有，如果字段类型是text，而你又需要用聚合，那必须在查询里加"script"，或者提前在索引阶段处理。我有次处理某个字段的聚合，发现字段类型是text，直接用了"script"，结果导致查询变慢，后来改成"keyword"类型，效率立马提升。

如果遇到聚合结果的排序问题，记得用"sort"参数，但是别用"terms"的默认排序。我之前在做某个统计时，直接用"terms"聚合的结果排序，结果发现默认是按字母排序，根本不符合业务需求。后来改用了"sort"参数，把结果按数值大小排序，才对。还有，别在聚合里用"terms"做精确统计，除非你确定字段是keyword类型。我有次在做订单统计的时候，字段类型是text，结果直接用了"terms"，导致数据不准确。最后我用了"cardinality"聚合，虽然结果不全，但更准确。另外，别忽略"aggs"的嵌套问题，有时候一层嵌套就能让查询变得复杂，影响性能。记得控制聚合的层级，别滥用。

在实际开发中，我用过的ES聚合技巧包括：使用"terms"聚合时强制指定"size"，避免默认值导致结果不全；在聚合里加"filter"上下文，减少不必要的数据扫描；使用"multi_terms"来处理多字段组合聚合，比嵌套"terms"更高效；在做时间序列统计时，优先使用"date_histogram"而非"terms"；对于高基数字段，考虑用"cardinality"聚合代替"terms"；在需要获取文档信息时，使用"top_hits"子聚合；遇到多级嵌套时，记得用"collect_mode"优化性能；如果字段类型是text，提前在索引阶段转成"keyword"类型；对于某些特殊场景，用"search_after"替代传统分页；以及别在聚合里用"script"做复杂计算，除非你有足够大的资源支撑。这些经验都是踩坑后总结出来的，别浪费时间去瞎试。