添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

当redis被用作缓存时,有时我们希望了解key的大小分布,或者想知道哪些key占的空间比较大。本文提供了几种方法。

一. bigKeys

这是redis-cli自带的一个命令。对整个redis进行扫描,寻找较大的key。例:

redis-cli -h b.redis -p 1959 --bigkeys
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).
[00.00%] Biggest hash   found so far 's_9329222' with 3 fields
[00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes
[00.00%] Biggest string found so far 'foo' with 40 bytes
[00.00%] Biggest hash   found so far 's_9329084' with 4 fields
[00.23%] Biggest zset   found so far 'region_hot_菏泽地' with 625 members
[00.23%] Biggest zset   found so far 'region_hot_葫芦岛' with 914 members
[00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes
[00.73%] Biggest zset   found so far 'region_hot_自贡' with 2092 members
[01.90%] Biggest hash   found so far 'uno_facet_2018-12-20' with 59 fields
[11.87%] Biggest zset   found so far 'region_hot_上海' with 2233 members
[27.05%] Biggest set    found so far 'blacklist_set_key' with 31832 members
[73.87%] Biggest string found so far 'PUSH_NEWS' with 3104237 bytes
[86.18%] Biggest zset   found so far 'region_hot_北京' with 2688 members
-------- summary -------
Sampled 4263 keys in the keyspace!
Total key length in bytes is 174847 (avg len 41.02)
Biggest string found 'PUSH_NEWS' has 3104237 bytes
Biggest    set found 'blacklist_set_key' has 31832 members
Biggest   hash found 'uno_facet_2018-12-20' has 59 fields
Biggest   zset found 'region_hot_北京' has 2688 members
1616 strings with 3771161 bytes (37.91% of keys, avg size 2333.64)
0 lists with 0 items (00.00% of keys, avg size 0.00)
1 sets with 31832 members (00.02% of keys, avg size 31832.00)
2353 hashs with 7792 fields (55.20% of keys, avg size 3.31)
293 zsets with 333670 members (06.87% of keys, avg size 1138.81)
  • 该命令使用scan方式对key进行统计,所以使用时无需担心对redis造成阻塞。
  • 输出大概分为两部分,summary之上的部分,只是显示了扫描的过程。summary部分给出了每种数据结构中最大的Key。
  • 统计出的最大key只有string类型是以字节长度为衡量标准的。list,set,zset等都是以元素个数作为衡量标准,不能说明其占的内存就一定多。所以,如果你的Key主要以string类型存在,这种方法就比较适合。
  • 更多关于bigkeys的说明可以参考这里

    二. debug object key

    redis的命令,可以查看某个key序列化后的长度。

    连接上redis后执行如下命令
    b.redis:1959> hmset myhash k1 v1 k2 v2 k3 v3
    b.redis:1959> debug object myhash
    Value at:0x7f005c6920a0 refcount:1 encoding:ziplist serializedlength:36 lru:3341677 lru_seconds_idle:2
    

    关于输出的项的说明:

  • Value at:key的内存地址
  • refcount:引用次数
  • encoding:编码类型
  • serializedlength:序列化长度
  • lru_seconds_idle:空闲时间
    关于refcount, encoding, lru_seconds_idle的更详细解释可以
    参考这里
  • 几个需要注意的问题

  • serializedlength是key序列化后的长度(redis在将key保存为rdb文件时使用了该算法),并不是key在内存中的真正长度。这就像一个数组在json_encode后的长度与其在内存中的真正长度并不相同。不过,它侧面反应了一个key的长度,可以用于比较两个key的大小。
  • serializedlength会对字串做一些可能的压缩。如果有些字串的压缩比特别高,那么在比较时会出现问题。比如下列:
  • b.redis:1959> set str1 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
    b.redis:1959> set str2 abcdefghijklmnopqrstuvwxyz1234
    b.redis:1959> debug object str1
    Value at:0x7f007c035b80 refcount:1 encoding:embstr serializedlength:12 lru:3342615 lru_seconds_idle:13
    b.redis:1959> debug object str2
    Value at:0x7f00654df400 refcount:1 encoding:embstr serializedlength:31 lru:3342622 lru_seconds_idle:7
    

    两个字串的实际长度都是30, 但str1的serializedlength为12, str2的为31。

  • redis的官方文档不是特别建议在客户端使用该命令,可能因为计算serializedlength的代价相对高。所以如果要统计的key比较多,就不适合这种方法。
  • 三. redis rdb tools

    这是一个redis rdb file的分析工具,可以根据rdb file生成内存报告。

    3.1 安装

    需要python2.4以上版本和pip。

    pip install rdbtools
    

    3.2 生成内存报告

    首先我们需要有一份rdb文件,如果你在配置中开启了rdb,那么redis会自动生成rdb文件。如果没有,可以手动执行bgsave。如果是线上机器,执行时要考虑机器负载等问题。拿到rdb文件后,我们就可以生成内存报告了。命令如下:

    rdb -c memory file 
    
    rdb -c memory /tmp/dump.rdb 
    database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
    0,hash,data:index_flow_yingshi,10492,hashtable,1,8992,2019-01-14T08:20:10.236000
    0,hash,data:index_movie,22068,hashtable,7,2896,2019-01-14T07:29:19.685000
    0,string,block:index_module_novel,8296,string,7694,7694,2019-01-13T00:27:46.128000
    0,string,block:index_bottom_baike_aikan,8296,string,7632,7632,2019-01-14T02:27:11.850000
    0,string,block:index_bottom_tools,5224,string,4549,4549,2019-01-13T01:02:09.171000
    0,string,block:index_module_travel,7272,string,6408,6408,2019-01-13T00:43:39.478000
    

    输出了db,数据类型,key, 大小, 编码等多列信息。至于分析数据,你可以用shell,也可以保存成csv用excel排序,或者干脆存到db里,想怎么排怎么排。

    如果只要知道最大的N个key, 可以使用-l选项。例:

    [@sjs_73_171 ~]$ rdb -c memory -l 3 /tmp/dump.rdb  
    database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
    0,hash,city_tong,724236,hashtable,3113,216,2019-01-14T01:10:59.407000
    0,hash,iplocsearch,406292,hashtable,383,180190,2019-01-30T05:37:56.082000
    0,hash,weather_tong3,583844,hashtable,319,1658,2019-01-07T10:22:33.742000
    

    3.3 查看单个key

    如果我们只需要查询单个key所使用的内存可以不必依赖rdb file, 使用redis-memory-for-key命令即可。

    [@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 myhash
    Key                             myhash
    Bytes                           83
    Type                            hash
    Encoding                        ziplist
    Number of Elements              3
    Length of Largest Element       2
    [@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str1
    Key                             str1
    Bytes                           80
    Type                            string
    [@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str2
    Key                             str2
    Bytes                           80
    Type                            string
    

    3.4 更多

  • 工具得出的内存值为近似值,这点可以参看作者的说明。“Why doesn’t reported memory match actual memory used?”
  • 工具通过分析rdb file中的key及value,反算出该kv在内存中的大小。计算时充分考虑了数据类型的影响,key本身长度的影响,内存分配等多种因素。虽然得出的大小不是真实值,但用于key大小的比较是完全可以的。
  • rdb的功能不仅于此,它还可以将kv导成json格式,也可以按正则表达式只导出部分key,
    更多使用方法可以查看
  • rdb --help
    

    也可以查看git上的帮助文档

    四. 总结

  • 如果想粗略的看下最大key, 可以使用bigKeys。
  • 如果查询的key不多,key的压缩比又没有明显差异,可以使用debug object key。
  • 如果不介意安装个工具,那么redis rdb tools似乎是最佳选择。
  • 强烈推荐一个大神的人工智能的教程:http://www.captainbed.net/zhanghan【前言】最近项目一个需求,需要借助于redis缓存来实现,发现需要存的value值有些大;究竟有多...
    来自: 通往精英的成长之路 Redis使用过程中经常会有各种大key的情况,比如:1:单个简单的key存储的value很大2:hash,set,zset,list中存储过多的元素(以万为单位)由于redis是单线程运行的,如果一... 来自: 高广超的博客 Redis是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构,如字符串(strings),散列(hashes),列表(lists),集合... 来自: weixin_33878457的博客 使用工具xshell连接到按照redis的linux服务器,然后执行以下命令:[root@dbserver10:28~]$redis-cli127.0.0.1:6379>helpredi... 来自: Andy哥的博客 1.概述整体过程概述如下:1.初始化配置好主从后,无论slave是初次还是重新连接到master,slave都会发送PSYNC命令到master。如果是重新连接,且满足增量同步的条件(3.1中详述),... 来自: IT民工的小日子 Redis的指令看不出哪一类型的key,占用了多少内存,不好分析redis内存开销大的情况下,各应用程序使用缓存的占比。借助第3方工具进行分析1、采用2个工具结合redis-rdb-tools+sql... 来自: u013282159的博客 一、bigKeys这是redis-cli自带的一个命令。对整个redis进行扫描,寻找较大的key。例:格式:redis-cli-h服务端主机名或者IP地址-p端口--bigkeys$redis-cl... 来自: ******* ▄︻┻┳═一 ******* redis不少文档中说key值不宜过大,但是这个大小的范围是多少? 是字符串长度,还是数值大小,多长或者多大算大呢? 还有提到,如果key值大,而value值小,不宜使用redis。 1234567 一、概述:     在该系列的前几篇博客中,主要讲述的是与Redis数据类型相关的命令,如String、List、Set、Hashes和Sorted-Set。这些命令都具有一个共同点,即所有的操作都是... 来自: hujiao_jingling的专栏 Redis的key和value大小限制今天研究了下将javabean序列化到redis中存储起来,突然脑袋灵光一闪,对象大小会不会超过redis限制?不管怎么着,还是搞清楚一下比较好,所以就去问了下百... 来自: wangjinnan16的博客 redis默认是开启了16个数据库,在配置文件中可以修改,编号从0到15,默认选择的是0号数据库,通过使用selectindex命令来更改数据库1.keyspattern命令–>获取key值在redi... 来自: 吴永胡的博客 原文链接:http://www.cnblogs.com/colorfulkoala/p/5783556.html问题导读:1.需求背景是什么?2.存储何种数据?3.数据特点是什么?4.存在哪些技术挑战... 来自: 哪这么多事儿 1.配置主备假设主机ip:10.136.16.146port:6789备机ip:10.136.30.144我们有两种方式为其配置备机方法1:修改备机配置文件redis.conf中增加daemonize... 来自: IT民工的小日子 INFO命令输出结果中:used_memory是你的Redis实例中所有key及其value占用的内存大小;used_memory_rss是操作系统实际分配给Redis进程的内存。这个值一般是大于us... 来自: wwwyuanliang10000的专栏 用客户端连接redis服务器: redis-cli>>info :server:一般Redis服务器信息,包含以下域:redis_version:Redis服务器版本redis_git_sha1:Gi... 来自: 鸟叔 Redis容量评估模型2017-04-2619:43一、redis常用数据结构做容量评估之前,有必要对redis常用数据结构有大概了解。1、SDSredis没有直接使用c语言传统的字符串(以空字符为结... 来自: 天生我才必有用! 大Key会带来的问题如果是集群模式下,无法做到负载均衡,导致请求倾斜到某个实例上,而这个实例的QPS会比较大,内存占用也较多;对于Redis单线程模型又容易出现CPU瓶颈,当内存出现瓶颈时,只能进行纵... 来自: 发歌的数据架构 查看redis占用内存大小的方法redis-cliauth密码info#Memoryused_memory:13490096//数据占用了多少内存(字节)used_memory_human:12.87... 来自: newmiracle学习天地 业务场景中经常会有各种大key的情况,比如:1.单个简单的key存储的value很大2.hash、set、zset、list中存储过多的元素(以万为单位)(文章中所提及的hash,set等数据结构均指... 来自: 无所畏惧 redis缓存固然高效,可是它会占用我们系统中宝贵的内存资源,特别是当我们的项目运行了一段时间后,我们需要看一下redis占用了多少内存,那么可以用“info”命令查看。执行info命令后,找到Mem... 来自: qq_36663951的博客 转载地址:http://blog.chinaunix.net/uid-1757778-id-3977331.html前言解析redis的dump.rdb文件,分析内存,以JSON格式导出数据。提供的功... 来自: 小江专栏 点击有惊喜前言在过去,查看redis的内存使用状态只有infomemory命令,而且也只有一些基础信息,想要获取全局信息就有些困难。4.0开始redis提供了MEMORY命令,一切都变得简单起来。ME... 来自: yunqishequ1的博客 一、背景:选择合适的使用场景  很多时候Redis被误解并乱用了,造成的Redis印象:耗内存、价格成本很高:  1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis,... 来自: suchy 通常存在redis中的key值是这个样子的,只看key值,我们很难知道这个key值是干什么的,有什么用处。所以需要我们对key值进行一定的分类:使用“:”冒号来体现层次。例如:setintern:us... 来自: 千千 Bitmaps原链接请猛戳这里bitmaps不是一种实际的数据类型,本质上说,它是定义在字符串类型上的一组位操作方法。单个bitmaps的最大长度是512MB,即2^32个比特位。有两种类型的位操作:... 来自: IT民工的小日子 董明鑫,雪球SRE工程师,主要负责保障雪球稳定性、提升资源利用率及提高开发效率等方向。Redis是互联网产品开发中不可缺少的常备武器,它性能高、数据结构丰富、简单易用,但同时也是因为太容易用了,我们的... 来自: weixin_33889245的博客 原文链接:https://www.dubby.cn/detail.html?id=9112这里说的大key是指包含很多元素的set,sortedset,list和hash。删除操作,我们一般想到有2种... 来自: 明月阁 发现redis使用量突然暴增,于是紧急扩容redis,不能影响服务运行。扩容之后,赶紧查找原因,突破口就是寻找存在哪些大key。1.将redis的dump.rdb文件下载到本地(一般redis的持久化... 来自: chinawangfei的专栏 官方说单例能处理key:2.5亿个,参考链接:https://redis.io/topics/faq,以下是原话:WhatisthemaximumnumberofkeysasingleRedisins... 来自: u011383596的博客 redis使用的频次过多,key值的分散使用,可能会导致key值的重复或者混乱,为了使key值简明易懂,可以格式化key。即key=keyFormat+keyValues。keyFormat为格式化字... 来自: w_t_y_y的博客 redis的key操作命令包括exists,del,type,keys,randomkey,rename和renamenx命令.这一组命令均是操作key,因此命令参数是key.redisexists命... 来自: azurelaker的博客 最近使用spring-data-redisRedisTemplate操作redis时发现存储在redis中的key不是设置的string值,前面还多出了许多类似\xac\xed\x00\x05t\x0... 来自: 赖进杰的专栏 RediskeysRediskey值是二进制安全的,这意味着可以用任何二进制序列作为key值,从形如”foo”的简单字符串到一个JPEG文件的内容都可以。空字符串也是有效key值。关于key的几条规则... 来自: yxpjx的专栏 我们之前使用Redis简单存储了三个参数:在语句setnamejack中,其中name就是一个key。我们Java中的变量名是有一定规则的,比如组成内容可以是“数字”,“字母”以及“下划线”。同理,k... 来自: weixin_38213517的博客 redis_home:redis安装路径:cd%redis_home%/src./redis-cli-h127.0.0.1127.0.0.1:6379>keys*(emptylistor... 来自: c1052981766的专栏 我们已经对rediscluster中的key进行了一定的分槽,但是导致了redis节点数据的不均匀分布,三个节点数据量大小对比:5:1:1,但更加恐怖的是内存使用对比,在最多的一个进程中占用超过900... 来自: clamaa的专栏 关于Redis大键(Key),我们从[空间复杂性]和访问它的[时间复杂度]两个方面来定义大键。前者主要表示Redis键的占用内存大小;后者表示Redis集合数据类型(set/hash/list/sor... 来自: 记录 redis的--bigkeys参数:对redis整个keyspace进行统计(数据量大时采样,调用scan命令),寻找每种数据类型较大的keys,给出数据统计redis-cli--bigkeys-i0... 来自: verifocus的博客     最近在使用redis存储数据的时候造成了大key的问题,被运维同学挑战,所谓的大key就是存储本身的key值空间太大,或者hash,list,set等存储中value值过多。 业务场景:   ... 来自: 懂幸福,爱生活 当我们需要遍历Redis所有key或者指定模式的key时,首先想到的是KEYS命令:KEYSpattern官网对于KEYS命令有一个提示: KEYS的速度非常快,例如,Redis在一个有1百万个key... 来自: zhang197093的博客 Redis安装Window下安装下载地址:https://github.com/MSOpenTech/redis/releases。Redis支持32位和64位。这个需要根据你系统平台的实际情况选择,... 来自: y41992910的博客 Redis设置Key/value的规则定义和注意事项(附工具类)对于redis的存储key/value键值对,经过多次踩坑之后,我们总结了一套规则;这篇文章主要讲解定义key/value键值对时的定义... 来自: YClimb的专栏 1:把表名转换为key前缀如,tag:2:第2段放置用于区分区key的字段--对应mysql中的主键的列名,如userid3:第3段放置主键值,如2,3,4....,a,b,c4:第4段,写要存储的列... 来自: 技术人生 可以使用KEYS命令KEYSpattern例如,列出所有的keyredis>keys*列出匹配的keyredis>keysapple*1)apple12)apple2参考h... 来自: 翔云