Redis 大 key

梦莱2年前技术文章641

1、bigkeys

Redis提供了 bigkeys 参数能够使 redis-cli 以遍历的方式分析 Redis 实例中的所有 Key ,并返回 Key 的整体统计信息与每个数据类型中 Top1 的大 Key

redis-cli -h r-***************.redis.rds.aliyuncs.com -a <password> --bigkeys
redis-cli --bigkeys
查询结果反馈如下

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest string found so far 'k2222' with 4 bytes
[00.00%] Biggest string found so far 'kkk' with 9 bytes

-------- summary -------

Sampled 3 keys in the keyspace!
Total key length in bytes is 10 (avg len 3.33)

Biggest string found 'kkk' has 9 bytes

3 strings with 18 bytes (100.00% of keys, avg size 6.00)
0 lists with 0 items (00.00% of keys, avg size 0.00)
0 sets with 0 members (00.00% of keys, avg size 0.00)
0 hashs with 0 fields (00.00% of keys, avg size 0.00)
0 zsets with 0 members (00.00% of keys, avg size 0.00)
0 streams with 0 entries (00.00% of keys, avg size 0.00)
[root@orcls ~]#

bigkeys 是以 scan 延迟计算的方式扫描所有 key,因此执行过程中不会阻塞 redis,但实例存在大量的 keys 时,命令执行的时间会很长,这种情况建议在 slave 上扫描


2、Rdbtools 工具包

使用 Rdbtools 工具包通过分析备份 rdb 文件,可以查看期间大 key 情况及过期时间情况,且不影响实例使用,缺点是没有实时性;输出 csv 文档列信息

--安装 rdb 工具包 
(venv) [root@orcls demo]# pip install rdbtools python-lzf

--导出所有 key 的信息
rdb -c memory /dump.rdb > memory.csv
----rdb -c memory 文件目录 > 输出文件名称

---导出大 key 也可以 按照参数修改即可
rdb dump.rdb -c memory --bytes 10240 -f live_redis.csv
---rdb -c memory 文件目录 --bytes 大小  -f 输出文档名称

Rdbtools 常用参数:

-c FILE:指定rdb工具的分析动作,最常用的就是memory(内存报告),除此还有json(转json)、diff(差异比对)、justkeys(仅有key)、justkeyvals(仅有value)

-f FILE:输出结果保存到哪个文件

-n DBS:指定需要分析的数据库,可以指定多个库。如果未指定则分析所有数据库

-k KEYS:指定需要分析的key,支持正则表达式


相关文章

Linux SSSD同步大量AD用户缓慢

Linux SSSD同步大量AD用户缓慢

1、背景在使用AD + sssd (ad作为ldap)同步用户,其中AD中存在10000+ 用户,同步时,用户信息获取缓慢,导致cdh的namenode 的rpc 队列打高,服务不正常。id 用户达到...

Kafka指标性能分析

Kafka指标性能分析

1)      根据group组查看消费情况(数值不准,仅可参考)根据之前的分析,只有driver的consumer会提交offset,因此通过./k...

开源大数据集群部署(七)Freeipa卸载

开源大数据集群部署(七)Freeipa卸载

1、命令卸载如果命令还卸载不赶紧,就在FreeIPA界面删除ipa-server-install -U --uninstall #服务端卸ipa-client-install -U --uninsta...

MySQL性能优化(七)优化or查询的另一个例子

MySQL性能优化(七)优化or查询的另一个例子

优化or查询的另外一个例子。一个例子SELECT msg.msg_id, msg.content , … FROM msg   ...

HDFS元数据损坏恢复方法

HDFS元数据损坏恢复方法

HDFS JournalNode 编辑目录(dfs.journalnode.edits.dir)下数据损坏(单节点损坏或所有节点数据损坏),如何恢复 HDFS?单节点损坏a)  &...

MySQL运维实战(5.6) 字符集设置对mysqldump的影响

mysqldump不指定字符集不指定字符集时,默认使用了utf8。可能和环境有关系。mysqldump -uroot test test_load >&n...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。