ES运维（五）聚合分析流程及精准度

1、 概述

ES是一个近实时的搜索引擎，提供近实时海量数据的聚合分析功能，但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。

2、 分布式系统的近似统计算法

如下图，在分布式数据分析平台，当同时考虑到数据量，分析精准度及分析实时性的话，最多只能满足其中的两点：

3、 聚合分析的执行流程

a、Min最小值聚合（可准确返回）

如上图，是对一个索引做Min值聚合，数据分布在三个节点的三个分片上，Coordinating节点接收到请求后就会同时到这三个分片上找到每个分片的最小值，然后在Coordinating节点对返回的三个值再次求最小值。此时聚合是精准的。

b、Terms聚合分析（不一定准确）

如上图，此次取索引top3，与a流程相同，在每个分配上同时取到top3，然后汇总再次取top3，但此次聚合分析结果不一定精确。c案例及可说明此问题。

c、Terms聚合不准确案例

如上图，此次top3聚合由于在每个分配只取top3，导致在第二次汇总分析时结论不准确（非全局top3）

Terms Aggregation的返回值

在 Terms Aggregation 的返回中有两个特殊的数值

doc_count_error_upper_bound：被遗漏的 term 分桶，包含的文档，有可能的最大值

sum_other_doc_count: 处理返回结果 bucket 的 terms 以外，其他 terms 的文档总数（总数 - 返回的总数）

4、 聚合不精确问题分析与解决

解决Terms不准的问题：

        不准的原因：Terms 聚合分析不准的原因，数据分散在多个分片上，Coordinating Node 无法获取数据全貌

解决方案 1：当数据量不大时，设置 Primary Shard 为 1；实现准确性

解决方案 2：在分布式数据上，设置 shard_size 参数，提高精确度（每次从 Shard 上额外多获取数据，提升准确率）