Elasticsearch数据生命周期如何规划

Elasticsearch中的open状态的索引都会占用堆内存来存储倒排索引，过多的索引会导致集群整体内存使用率多大，甚至引起内存溢出。所以需要根据自身业务管理历史数据的生命周期，如近3个月的数据open用于快速查询；过去3-6月的数据索引close以释放内存，需要时再开启；超过6个月的可以删除索引。

可以使用索引模板的方式按照一定时间创建新的索引，例如按天创建索引，索引的命名可能是index-yyyy-mm-dd，每天生成不同的索引，清除历史数据时可直接关闭或删除。

1.滚动索引

当一个索引过大或者过于陈旧时，滚动索引可以将索引的别名滚动到一个新的索引上，这个新的索引结构与旧索引结构相同。

滚动索引API需要指定一个索引别名和条件。发送请求时这个索引别名需要指向一个可以写入的索引，否则请求将无效。

索引别名：

指定的索引别名有以下两种情况：

（1）如果别名指向一个索引，is_write_index未配置，此时旧索引别名将滚动到新索引上，同时旧索引别名将被删除；

（2）如果索引别名指向一个或者多个索引，同时有一个或者多个索引的is_write_index设置为true，此时，这些可写入的索引将滚动别名同时将is_write_index设置为false，将别名滚动到新的索引同时将新索引的is_write_index设置为true。

滚动条件：

滚动索引的API支持三个条件，如下所示。

当发出滚动请求的时候指定索引满足设定条件中的任意一个或者多个索引将会被滚动，如果不满足则不会滚动，elasticsearch暂不提供监听功能，需要滚动时需要手动触发。

索引命名规则：

滚动索引的命名必须满足一定规则否则无法正常滚动索引或者需要手动指定新的索引名称。

1.       以-和数字结尾：如果现有索引名称以-和数字结尾例如log-1，新的索引名称将会根据现有数字大小加1，无论就得索引名称如何，新的索引的编号数字都会填充为6位，log-1索引滚动后新的索引名称为log-000002。

2.       使用日期计算：新索引的命名也支持用滚动日期来命名，要求索引名称同样以-加数字结尾，比如log-2019.08.28-1，如果当天滚动索引的话新的索引名称为log-2019.08.28-000002，如果一天后滚动新的索引名称为log-2019.08.29-000002。

也可以用日期计算进行创建索引并设定别名，如以下操作将会创建logs-2019.08.28-1索引，别名为logs_write：

# PUT /<logs-{now/d}-1> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D-1%3E
{
"aliases": {
"logs_write": {}
}
}

3.       日期计算：

日期计算的格式为：

<static_name{date_math_expr{date_format|time_zone}}>

参数说明为:

日期计算表达式只支持公历。

必须将 date math 索引名称表达式包含在尖括号中，并且所有的特殊字符都应进行 URI 编码。例如 :

GET /％3Clogstash - ％7Bnow ％2Fd ％7D ％3E / _search
{
"query": {
"match": {
"test": "data"
}
}
}

用于日期计算的特殊字符必须按照如下 URI 编码 :

以下示例显示了不同形式索引表达式和它们解析的最终索引名称，给定的当前时间是 2024 年 3 月 22 日 utc。

如果索引中要使用{}，需要使用反斜杠“\”进行转义处理，例如：<elastic\\{ON\\}-{now/M}>的结果为elastic{ON}-2024.03.01。

4.       自定义的索引名称：如果索引名称不满足以-加数字结尾，比如log，此时如果不指定新的索引名称请求会报错，自定义新的索引名称请求如下：

POST /test/_rollover/log_new
{
"conditions": {
"max_age": "1m",
"max_docs":"1000",
"max_size":"5gb "
}
}

如果滚动成功的话会生成log_new索引。

设置新的索引：

索引滚动时新的索引会根据匹配到的索引模板自动设置，也支持自定义的settings、mappings和aliases设定。请求中的设定值将会覆盖索引模版中相同的设定，比如可以进行以下设定：

POST /test/_rollover
{
"conditions": {
"max_age": "1m",
"max_docs":"1000",
"max_size":"5gb "
},
"settings" :{"index.number_of_shards"：2 }
}

新的索引的index.number_of_shards将会被设置为2。

Dry运行：

滚动索引支持dry_run模式，可以在不执行实际滚动的情况下检查请求条件：

POST /test/_rollover?dry_run
{
"conditions": {
"max_age": "1m",
"max_docs":"1000",
"max_size":"5gb "
},
"settings" :{"index.number_of_shards"：2 }
}