ElasticSearch shard&replica机制梳理和创建index图解

櫰木11个月前技术文章362

1、shard&replica的机制梳理

  1. 1个index包含多个shard。一个shard包含index的部分数据

  2. 每个shard都是最小的工作单元,承载部分数据,lucene实例,完整的建立索引和请求的能力

  3. 增减节点,shard会自动在node中进行负载均衡

  4. primary shard和replica shard,每个document只存在于某一个primary shard对应的replica shard中,不可能存在多个primary shard中

  5. replica shard和primary shard 负责容错和承担请求负载

  6. primary shard 的数量在建立索引时就确定了,replica shard的数量可以随意改动

  7. primary shard 默认数量时5,replica shard数量默认为1。则默认有10个shard,5个primary shard,5个replica shard

  8. primary shard 不能和自己的replica shard 放置在同一节点上(如果宕机,则该shard的primary shard和replica shard 都会丢失,起不到容错的作用)

2、图解单node环境下创建index是怎么样的

  1. 单node环境下,创建1个index,有3个primary shard ,3个replica shard

  2. 集群状态为yellow

  3. 此时,只会将3个primary shard分配到仅有的一个node上去,另外3个replica shard没有地方分配

  4. 集群可以正常工作,但是一旦出现宕机,集群将会无法提供服务

#创建index
PUT /es_one
{
  "settings": {
    "number_of_shards": 3, 
    "number_of_replicas": 1
  
  }
}
#查看每个shard 的分配
GET /es_one/_shard_stores

image.png

相关文章

MySQL 切换主备(三)

MySQL 切换主备(三)

三、切换主备:3.1、确认主库角色查看 vip 状态,目前在主库上面。3.2、确认备库角色此时备库read_only=1只读不写查看数据库读写状态:show global variables like...

HBase HBCK运维指南

HBase HBCK运维指南

HBase HBCK是HBase运维人员经常会用到的一个HBase运维工具,主要是用于检查 HBase region等元数据一致性以及修复的工具。目前HBCK工具有两个版本,本次主要介绍用于HBase...

数仓主流架构简介之一

数仓主流架构简介之一

一、Lambda架构Apache Storm的创建者Nathan Marz于 2011 年开发,旨在解决大规模实时数据处理的挑战。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。...

SQL Server优化入门系列(五)—— SQL Server的执行计划

SQL Server优化入门系列(五)—— SQL Server的执行计划

定位到TOP SQL后,怎么优化呢?我们需要分析SQL的执行计划,制定相应的优化策略。这篇文章中,我们将介绍查看SQL Server执行计划的几种方法。本文测试案例中使用了AdventureWorks...

通过Nodeport方式暴露集群

通过Nodeport方式暴露集群

一、原理图二、通过deployment部署双副本nginx,两个Pod[root@172-16-121-211 ~]# cat nginx-delpayment01.yml apiVersion: a...

MongoDB的MMAPv1存储引擎

 在MongoDB 3.0之前,默认存储引擎为MMAPv1。从MongoDB 4.0开始,MMAPv1存储引擎开始被遗弃。MMAPv1是基于内存映射文件的原始存储引擎。一、journal1、将数据写入...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。