ES运维(五)聚合分析流程及精准度

二龙1年前技术文章621

1、 概述

ES是一个近实时的搜索引擎,提供近实时海量数据的聚合分析功能,但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。

 

2、 分布式系统的近似统计算法

如下图,在分布式数据分析平台,当同时考虑到数据量,分析精准度及分析实时性的话,最多只能满足其中的两点:

001.png

3、 聚合分析的执行流程

aMin最小值聚合(可准确返回)

002.png

如上图,是对一个索引做Min值聚合,数据分布在三个节点的三个分片上,Coordinating节点接收到请求后就会同时到这三个分片上找到每个分片的最小值,然后在Coordinating节点对返回的三个值再次求最小值。此时聚合是精准的。

bTerms聚合分析(不一定准确)

003.png

如上图,此次取索引top3,与a流程相同,在每个分配上同时取到top3,然后汇总再次取top3,但此次聚合分析结果不一定精确。c案例及可说明此问题。

cTerms聚合不准确案例

004.png

如上图,此次top3聚合由于在每个分配只取top3,导致在第二次汇总分析时结论不准确(非全局top3

Terms Aggregation的返回值

Terms Aggregation 的返回中有两个特殊的数值

doc_count_error_upper_bound:被遗漏的 term 分桶,包含的文档,有可能的最大值

sum_other_doc_count: 处理返回结果 bucket terms 以外,其他 terms 的文档总数(总数 - 返回的总数)

 

4、 聚合不精确问题分析与解决

解决Terms不准的问题:

        不准的原因:Terms 聚合分析不准的原因,数据分散在多个分片上,Coordinating Node 无法获取数据全貌

解决方案 1:当数据量不大时,设置 Primary Shard 1;实现准确性

解决方案 2:在分布式数据上,设置 shard_size 参数,提高精确度(每次从 Shard 上额外多获取数据,提升准确率)

相关文章

ES运维(四)扩容方式迁移

ES运维(四)扩容方式迁移

1 迁移概述本次模拟es在线迁移方式:集群扩容-->数据迁移-->老节点下线-->服务重启刷新配置。 中间master替换的时候会有短暂的不可用。 另外业务测需注意:老节点下线前...

ES运维(六)_segment合并使用原理及场景

ES运维(六)_segment合并使用原理及场景

一、背景简介ES中,每个index(索引)都包含若干个Shard(分片),每个分片底层又是一个个Segment文件(段),每次数据的读写底层就是与一个个段文件的交互,因此ES调优常用的一块就是对段文件...

ES运维(三)架构与规划(阿里云)

ES运维(三)架构与规划(阿里云)

1、 阿里云Elasticsearch架构图阿⾥云Elasticsearch和Kibana容器化运⾏在ECS中,监控agent(独⽴进程)负责收集监控指标,通过SLS发送给云监控完成监控报警。实例之间...

正式发布 | 《云运维服务白皮书》开放下载!

正式发布 | 《云运维服务白皮书》开放下载!

在全球数字化变革的背景下,为适应数字经济环境下企业生存发展和市场变化的需要,企业进行主动的、系统性、整体性的数字化转型升级。大数据、云计算、人工智能、区块链等新一代信息通信技术为企业的数字化转型提供了...

ES运维(七)添加sql插件

ES运维(七)添加sql插件

一、概述ElasticSearch安装SQL插件下载地址(中国大佬开发)二、集成sql插件1、下载es-sql插件下载地址: https://github.com/NLPchina/elastics...

ES运维(二)字段类型与内存管理

ES运维(二)字段类型与内存管理

一、ES常见字段类型1、 概述字段是数据存储的最小微粒,根据数据的性质不同将数据分成不同的字段类型,熟悉不同字段类型的特性,对索引的Mapping设计、查询调优都极其重要。2、 关键参数In...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。