MongoDB创建索引

太阳1年前技术文章742

一、后台创建索引

默认情况下,当我们对一个比较热点的集合创建索引时,直到索引创建完毕,该集合都是无法读写的。

1、后台创建索引语法

db.collection.createIndex( { filed: 1 }, { background: true } )

2、后台创建索引行为以及资源消耗

1)当使用后台创建索引时,不会阻塞对该集合的读写操作,但是在索引创建完成之前,会阻塞对该集合别的创建索引操作。

2)在创建索引期间,查询不会使用到未创建完毕的索引

3)MongoDB后台创建索引使用一种增量创建的办法,相对前台创建索引是要慢的,特别是当创建索引所需内存超过RAM的时候,尽量选择一个业务低峰期的时间窗口来做创建索引的操作

4)在创建索引时,如果达到了内存的限制,MongoDB会使用磁盘临时表,mongodb默认对内存使用的限制为500MB,也可以通过参数maxIndexBuildMemoryUsageMegabytes进行设置

5)在创建索引时候,如果mongod意外宕机导致创建索引中断,mongod服务默认重新启动后会前台重新创建索引,若在创建索引时报错,mongod程序会报错退出,可设置storage.indexBuildRetry参数控制mongod重启后是否前台重试创建索引。


二、单机/副本集下如何创建索引

1、单机

1)使用前台创建索引,创建索引期间需要持有global DB lock,阻塞所有读写操作

2)使用后台创建索引,创建索引期间不需要持有global DB lock,不会阻塞读写操作

2、副本集

1)在primary节点使用前台创建索引,primary节点在创建索引期间需要一个global DB lock,阻塞所有读写操作;secodary节点的复制线程在复制创建索引操作时也会持有global DB lock,阻塞对secondary节点的所有读操作。

2)在primary节点使用后台创建索引,primary节点和secondary节点在创建索引期间不需要global DB lock,不会阻塞该节点正常操作。

3)在副本集中最大程度减少创建索引对业务的影响,我们可以使用以下方法创建索引:

1.停止其中一个secondary节点并以单机模式启动

2.在该secondary节点创建索引,

3.重新以副本集模式启动该secondary节点

4.重复以上步骤对其他的secondary节点进行创建索引

5.将primary节点退位为seconary节点并创建索引

    rs.stepDown()

4)在副本集模式创建索引的一些注意点

1.如果单机模式创建唯一索引,需要停止对该集合的写入操作;否则推荐使用 db.collection.createIndex()创建索引。

2.在副本集创建索引时,需要保证secondary节点的oplog足够大,以便在创建索引成功后追上primary节点的同步。


相关文章

trino容器对接ldap(二)

trino容器对接ldap(二)

前提:本文前提是在trino容器已经对接上hive组件,并且ldap已经部署完成的基础上进行的对接。前提文章见:helm安装部署trino对接hive(一)安装部署1、设置证书因为不确定是在哪台机器中...

ReadConcern与WriteConcern

一、ReadConcern1、ReadConcern vs ReadPreferenceReadPreference 主要控制从副本集哪个节点来读取数据,该参数可以实现读写分离、就近读取的功能prim...

数仓主流架构简介之一

数仓主流架构简介之一

一、Lambda架构Apache Storm的创建者Nathan Marz于 2011 年开发,旨在解决大规模实时数据处理的挑战。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。...

CDH实操--CDH集成flink 1.13.6(二)

CDH实操--CDH集成flink 1.13.6(二)

一、编译flink1、下载flink1.13.6源码包wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.6/flink...

开源大数据集群部署(三)集群mysql数据库部署

开源大数据集群部署(三)集群mysql数据库部署

1、mysql部署在hd1.dtstack.com主机root权限下安装配置Ø  在安装目录/root/bigdata目录下解压包tar -xvJf mysql-8.0.31-linux-glibc2...

华为云创建udf

如何使用 1.把以上程序打包成AddDoublesUDF.jar,并上传到HDFS指定目录下(如“/user/hive_examples_jars/”)且创建函数的用户与使用函数的用户有该文件的可读...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。