Redis 大 key

梦莱2年前技术文章730

1、bigkeys

Redis提供了 bigkeys 参数能够使 redis-cli 以遍历的方式分析 Redis 实例中的所有 Key ,并返回 Key 的整体统计信息与每个数据类型中 Top1 的大 Key

redis-cli -h r-***************.redis.rds.aliyuncs.com -a <password> --bigkeys
redis-cli --bigkeys
查询结果反馈如下

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest string found so far 'k2222' with 4 bytes
[00.00%] Biggest string found so far 'kkk' with 9 bytes

-------- summary -------

Sampled 3 keys in the keyspace!
Total key length in bytes is 10 (avg len 3.33)

Biggest string found 'kkk' has 9 bytes

3 strings with 18 bytes (100.00% of keys, avg size 6.00)
0 lists with 0 items (00.00% of keys, avg size 0.00)
0 sets with 0 members (00.00% of keys, avg size 0.00)
0 hashs with 0 fields (00.00% of keys, avg size 0.00)
0 zsets with 0 members (00.00% of keys, avg size 0.00)
0 streams with 0 entries (00.00% of keys, avg size 0.00)
[root@orcls ~]#

bigkeys 是以 scan 延迟计算的方式扫描所有 key,因此执行过程中不会阻塞 redis,但实例存在大量的 keys 时,命令执行的时间会很长,这种情况建议在 slave 上扫描


2、Rdbtools 工具包

使用 Rdbtools 工具包通过分析备份 rdb 文件,可以查看期间大 key 情况及过期时间情况,且不影响实例使用,缺点是没有实时性;输出 csv 文档列信息

--安装 rdb 工具包 
(venv) [root@orcls demo]# pip install rdbtools python-lzf

--导出所有 key 的信息
rdb -c memory /dump.rdb > memory.csv
----rdb -c memory 文件目录 > 输出文件名称

---导出大 key 也可以 按照参数修改即可
rdb dump.rdb -c memory --bytes 10240 -f live_redis.csv
---rdb -c memory 文件目录 --bytes 大小  -f 输出文档名称

Rdbtools 常用参数:

-c FILE:指定rdb工具的分析动作,最常用的就是memory(内存报告),除此还有json(转json)、diff(差异比对)、justkeys(仅有key)、justkeyvals(仅有value)

-f FILE:输出结果保存到哪个文件

-n DBS:指定需要分析的数据库,可以指定多个库。如果未指定则分析所有数据库

-k KEYS:指定需要分析的key,支持正则表达式


相关文章

Docker Engine - Containerd

Docker Engine - Containerd

1、背景Docker 崛起很久以前,Docker 强势崛起,以 “镜像” 这个大招席卷全球,对其他技术进行致命的降维打击,使其毫无招架之力,就连 Google 也不例外。Google 为了不被拍死在沙...

热点现象(数据倾斜)怎么产生的,以及解决方法有哪些

热点现象:某个小的时段内,对HBase 的读写请求集中到极少数的Region 上,导致这些region所在的RegionServer 处理请求量骤增,负载量明显偏大,而其他的RgionServer明显...

hive执行count和spark执行count结果不一致

hive执行count和spark执行count结果不一致

【组件版本】hive on mr、spark【问题现象】hive 执行count语句,结果条数为0,spark执行count语句能正常显示count数【详细描述】hive 执行count语句:显示co...

Alluxio部署

安装前准备1.1. 添加环境变量vi /etc/profile export ALLUXIO_HOME=/opt/alluxioexport PATH=$PATH:$ALLUXIO_HOME/bin ...

数仓主流架构简介之三

数仓主流架构简介之三

一、数仓架构经历过程随着数据量的暴增和数据实时性要求越来越高,以及大数据技术的发展驱动企业不断升级迭代,数据仓库架构方面也在不断演进,分别经历了以下过程:早期经典数仓架构 > 离线大数据架构 &...

Spark thriftserver对接cdh hive

Spark thriftserver对接cdh hive

1、背景客户需要使用spark的thriftserver来通过beeline或者jdbc 来使用spark sql环境: spark 3.2.0hive: 2.1.1-cdh6.3.2hadoop:...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。