• [分享交流] 你有一份Redis运维秘籍,请查收!
    先给大家讲一个基本知识点:数据库分类大致分为两类,关系型数据库和非关系型数据库。如果详细区分的话,还可以继续分下去。Redis不仅仅是缓存数据库面试的时候,很多人会问,Redis和memcahce的区别?memcache是一个纯缓存的键值数据库,而Redis是一个非关系型的数据库。两者的差异较大,却仍然大部分的人问二者的区别?因为很多人对Redis的应用,主要是和memcache一样,作为键值缓存数据库来用的。要知道,Redis不仅仅是缓存数据库,接下来,我们要深入Redis的应用场景,探寻它能为我们来解决什么样的问题。6大Redis应用场景1.缓存缓存肯定是大家应用场景最多的一个方向,几乎现在所有的中大型网站,都用到了缓存。合理的使用缓存不但能提高网页的访问速度,也能够降低后端数据库的压力。根据数据类型和实际使用情况,设置灵活的键值过期策略,又可以保障数据的有效性,所以用在缓存的场合非常多。2.计数器好多不熟悉业务或者开发的运维同学可能会问,计数器究竟是什么?我们可以通过我们实际的例子来说明,比如博主写了一篇博文,有多少人来浏览,51CTO都会有记录。那么这个记录怎么来做,每次浏览的话,这个记录都会+1 ,当浏览人数太多的时候,或者文章基数较大的时候,每次都去数据库来操作读写这个数据,肯定对后端数据库会有较大的压力。如果我们使用Redis的incr来实现这个功能,在内存中来计数,不但性能好,还可以减轻后端数据库的压力。所以是Redis!3.排行榜比如音乐或者某比赛排行榜,我们可以使用音乐名作为元素,使用播放次数作为分值。如果使用Redis的zadd来实现这个功能,使用zrevrange 来按照分值获取前10名或者50名的歌曲,或者获取歌曲排名,都是操作比较容易的,试想一下这种范围取值,如果使用Mysql来操作,一般会全表扫描,对I/O、数据库都是压力,所以是Redis。4.定位功能(3.2开始支持)Redis的 GEO特性,我们可以通过提前输入具体的地理位置信息,经纬度一些主要内容,在使用时,可以快读定位到APP使用者的位置,以及位置之间的距离等。5.简单的消息系统在日常的应用开发中,消息队列的使用还是比较常见的,Redis也有阻塞队列的功能。能够让程序在执行时被另一个程序添加到队列。6.交友我们可以存储好友的信息,比如爱好、兴趣等,通过使用Set集合的差查找爱好不同,或者爱好相同的点,增加交友匹配度等。当然,Redis的实际应用还远不止这些,既然这个数据库可以在我们实际的应用中,解决如此多的痛点问题,也有如此多的应用场景,那么肯定使用的公司一定比较多,为了提高我们自身的能力,或者竞争力,能够更好的解决或者运维好这一款数据库,我当然需要深入的去学习。Redis最显著的优势1.速度快Redis的开发基于C语言实现,网络上使用epoll解决高并发的问题,单线程又避免不必要的上下文切换。C语言和贴近系统,数据又放在内存中。所以速度肯定快。2.支持多种数据类型Redis不仅仅是key - value的存在,还可以支持LIst、String、Hash、Set、Zset 数据类型,可以满足我们大部分的需求。通过这个图呢,我们大致介绍了Redis的功能、场景、优点等信息。那么既然Redis在我们工作中,有这么多的地方可以用到,我们更应该需要深入的去学习和了解,方便我们在以后的工作中,更加的得心应手。基于以上的考虑,所以我讲解内容选择的时候: 所以是Redis。接住这份Redis运维秘籍1.总结知识点我们通过专栏的学习,可以看到Redis在学习过程中重要的一些知识点,而不是通篇的按照Redis的官方文档来教科书式的宣读,我们会把工作中常用的进行知识点的总结,只讲干货,不凑篇幅。2.理论+实践鲁迅先生说:“实践是检验真理的唯一标准”!(鲁迅先生表示没说过,哈哈!不知道谁的名言的时候,都是鲁迅先生的。),我们不但对底层知识、原理进行讲解和总结,也同时进行实战的操作,通过实际操作来验证这些理论,可以加深印象,也更方便我们的理解。3.经验总结与分享我们将在实战和优化中,讲解博主实际在运用过程中使用的遇到的一些“坑”。满满的坑,当我们从坑里爬出来的时候,我们就是强者。我们提前总结了这些坑,可以帮助大家建立在我们的经验之上,少走或者不走弯路。我们已经在坑里搭好“电梯”,大家可以比较省力的看到坑里的风景,又不用吃力。这也是我们总结和分享的目的。运维或者对Redis感兴趣的小伙伴们,来入坑吧,欢迎你们。我将会带领你们从这里坚强的走过,变成强者!哈哈!------------------------------------本文转自one叶孤舟博客51CTO博客如需转载,请联系作者授权原文链接:https://blog.51cto.com/14236481/2362954
  • [技术干货] Redis5.0:现公测全免费,点击就送,注册账号,即开即用
    华为云分布式缓存服务Redis,是华为云服务的一款核心产品。分布式缓存Redis是一款内存数据库服务,基于双机热备的高可用架构,提供单机、主从、集群等丰富类型的缓存类型。现推出最新版本Redis5.0,公测阶段,全程免费使用,点击分布式缓存服务Redis就送,在华为云服务官网注册账号,即开即用。 接下来,小编教大家如何获得这个免费公测。1.       注册华为云服务账号首先登陆华为云服务的官网,在页面的右上角点击注册,完成所需要的信息即可完成注册https://reg.huaweicloud.com/registerui/public/custom/registercontrast.html?__adhoc_split_id__=21356a67-a260-8f5e-ece7-d6b376665bbd&locale=zh-cn#/registercontrast 注册需要填的信息非常简单,只需要填写手机号和验证码,加上账号密码就可以了  2.       申请公测注册好了账号以后,我们就可以直接登陆华为云官网,在官网顶部中间区域,有个搜索引擎,输入Redis,即可弹出分布式缓存服务Redis,点击进入分布式缓存购买窗口,点击Redis公测权限按钮,即可进入公测申请页面 在申请公测页面填上联系电话等基本信息,即可获得公测资格,同时提醒各位朋友,别忘了在《公测试用服务协议》勾选同意哦。华为云分布式缓存服务Redis5.0公测资格,现阶段,申请秒通过,在您完成公测申请之后,进入分布式缓存服务Redis点击立即使用,进入购买界面,点击右上角购买缓存实例,如下在购买页面选择,按需付费,版本号选择5.0.2,即可立即体验免费公测好了,以上就是小编给大家介绍的华为云分布式缓存Redis5.0,公测免费的获取方式。希望对您有用哦  
  • 如何更有效的消灭watchdogs挖矿病毒?华为云DCS Redis为您支招
    漏洞概述近日,互联网出现watchdogs挖矿病毒,攻击者可以利用Redis未授权访问漏洞入侵服务器,通过内外网扫描感染更多机器。被感染的主机出现 crontab 任务异常、系统文件被删除、CPU 异常等情况,并且会自动感染更多机器,严重影响业务正常运行甚至导致崩溃。在此,小哥建议您及时开展Redis业务自查并进行升级修复,避免业务和经济损失。漏洞影响1、数据泄露。Redis被远程控制,泄漏敏感业务数据2、病毒感染。如果机器本身未加固,可通过Redis漏洞入侵主机资源,并进行系统破坏、文件删除、利用主机资源挖矿等恶性操作产生漏洞条件1、Redis全网监听,暴露于公网之上。自建Redis容易设置0.0.0.0:6379,在绑定EIP之后暴露在互联网上2、Redis无密码或弱密码进行认证,容易被破解3、Redis服务以root或高权限账户运行,可通过该用户修改 crontab 任务、执行挖矿操作,系统 netstat 等文件被篡改删除,同时会进一步遍历 known_hosts 中历史登录记录进行感染更多机器加固建议1、推荐使用华为云DCS Redis云服务,DCS默认已针对Redis进行加固,且有专业团队维护,不受该漏洞影响,您可以放心使用!2、禁止外网访问 Redis,需要重启Redis才能生效3、Redis是否以无密码或弱密码进行验证,请添加强密码验证,需要重启Redis才能生效4、Redis服务是否以root账户运行,请以低权限运行Redis服务,需要重启Redis才能生效5、设置安全组或防火墙,对源IP进行访问权限控制6、禁用config命令避免恶意操作,可使用rename特性把config重命名,增加攻击者使用config指令的难度7、把Redis默认的6379端口修改为其它端口,增加攻击者获取Redis入口的难度清理木马若发现主机被入侵感染,请按照以下方法进行处置1、隔离感染主机:已中毒计算机尽快隔离,关闭所有网络连接,禁用网卡2、清理未知计划任务3、删除恶意动态链接库 /usr/local/lib/libioset.so4、排查清理 /etc/ld.so.preload 中是否加载3中的恶意动态链接库5、清理 crontab 异常项,删除恶意任务(无法修改则先执行7-a)6、终止挖矿进程7、排查清理可能残留的恶意文件a)  chattr -i /usr/sbin/watchdogs /etc/init.d/watchdogs /var/spool/cron/root /etc/cron.d/rootb)  chkconfig watchdogs offc)  rm -f /usr/sbin/watchdogs /etc/init.d/watchdogs8、相关系统命令可能被病毒删除,可通过包管理器重新安装或者其他机器拷贝恢复9、由于文件只读且相关命令被 hook,需要安装 busybox 通过 busybox rm 命令删除10、重启机器注意修复漏洞前请将资料备份,并进行充分测试。点击华为云分布式缓存Redis,了解更多~~
  • 【直播已结束.云视界】Redis 5.0之Stream案例应用解读(1/11周五 16:00-17:00)
    12月17日,华为云在DCS2.0的基础上,快人一步,抢先推出了新的Redis 5.0产品,这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段,华为云率先发布了Redis5.0,全面展现了华为云在业界缓存领域持续创新的实力。华为云分布式缓存Redis5.0携Stream而来,以更快、更潮的特性及更优秀的内核,释放更强大的商业价值。华为云Redis是什么?如果用两个字来形容的话,非“快”和“稳”莫属!华为云Redis的实测性能相比开源提升300%,生产环境单核QPS达到25万+水平。简单来说就是,1个实例顶3个,用户开支大大减少。与此同时,华为云Redis还通过了最严苛的电信级测试,实现全球商用。▶观看直播
  • 当程序员遇上主播,Redis 5.0不能说的秘密
    当一个单纯的程序员恋上当红女主播,他的生活会带来什么样的变化?华为云 Redis 5.0 又是如何助他一臂之力的?
  • 云上领跑,快人一步:华为云抢先发布Redis5.0
    12月17日,华为云在DCS2.0的基础上,快人一步,抢先推出了新的Redis 5.0产品,这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段,华为云率先发布了Redis5.0,全面展现了华为云在业界缓存领域持续创新的实力。华为云分布式缓存Redis5.0携Stream而来,以更快、更潮的特性及更优秀的内核,释放更强大的商业价值。华为云Redis是什么?如果用两个字来形容的话,非“快”和“稳”莫属!华为云Redis的实测性能相比开源提升300%,生产环境单核QPS达到25万+水平。简单来说就是,1个实例顶3个,用户开支大大减少。 与此同时,华为云Redis还通过了最严苛的电信级测试,实现全球商用。开源Redis5.0 VS 华为云Redis5.0 云上领跑,综合实力全面升级更快的用户体验华为自研软硬件全栈整合,将底层的操作系统从原来的共享网络改为独占网络,优化传输链路,在并发量高的时候也能轻松保证系统正常提供服务。用户不必为了并发量而配置过大的实例,造成资源闲置浪费。更潮的使用方法全新数据类型Stream来袭,是本次Redis5.0发布的一大亮点。Stream是Redis 5.0引入的一种新数据类型,作为一个新的强大的支持多播的可持久化消息队列,Stream的消费模型借鉴了kafka的消费分组的概念,支持分组多次消费,弥补了以往Redis Pub/Sub不能持久化消息的缺陷。更优的资源使用率主动内存碎片整理V2的出现,是Redis5.0的又一大新特性。比如用户在cache层新增了一个任务逻辑,发现Redis内存明显不足,但实际占用内存的数据量并不大,原因就是产生了大量的内存碎片。Redis5.0支持在运行期进行自动内存碎片清理,为用户提供更快、更智能、更低延迟的缓存能力。此次推出的华为云分布式缓存Redis5.0版本旨在为用户提供性能更强劲、服务更可靠的分布式缓存服务。华为云分布式缓存服务DCS一直在缓存技术领域不断探索和追求,致力于为企业提供更加安全、高效的应用快速上云服务,从容面对数字时代的转型和挑战。 点击这里抢先体验Redis5.0,还有机会抽取小天鹅音箱、华为耳机等丰富礼品哦!戳这查看操作说明
  • [问题求助] 求助:DCS-redis的持久化机制是怎样的?
    分布式缓存服务redis,写缓存和持久化到文件是事务级的吗?会不会出现写缓存成功,但持久化失败的情况?
  • [介绍/入门] AOS编排语言系列教程(十):创建分布式缓存Redis
    【摘要】 分布式缓存服务(Distributed Cache Service,简称DCS),用于提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,兼容Redis和Memcached,提供单机、主备、集群等丰富的实例类型,满足用户高并发及快速数据访问的业务诉求。本文中模板在创建安全组的模板中引入分布式缓存Redis的内容。分布式缓存服务(Distributed Cache Service,简称DCS),用于提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,兼容Redis和Memcached,提供单机、主备、集群等丰富的实例类型,满足用户高并发及快速数据访问的业务诉求。下面模板在创建安全组的模板中引入分布式缓存Redis的内容。tosca_definitions_version: huaweicloud_tosca_version_1_0inputs:  myredis_password:    description: 分布式缓存实例的登录密码node_templates:  myvpc:    type: HuaweiCloud.VPC.VPC    properties:      name: my-vpc      cidr: '192.168.0.0/16'  mysubnet:    type: HuaweiCloud.VPC.Subnet    properties:      name: my-subnet      cidr: '192.168.1.0/24'      gateway: 192.168.1.1      vpcId:        get_reference: myvpc      dhcpEnable: true    requirements:      - vpcId:          node: myvpc  myecs:    type: HuaweiCloud.ECS.CloudServer    properties:      name: my-ecs      instances: 1      imageId: a3934478-bfeb-4a02-b257-9089779f0380      flavor: c1.medium      vpcId:        get_reference: myvpc      availabilityZone: cn-south-1a      nics:        - subnetId:            get_reference: mysubnet      rootVolume:        volumeType: SATA        size: 40      securityGroups:        - id:            get_reference: mysg    requirements:      - vpcId:          node: myvpc      - securityGroups.id:          node: mysg      - nics.subnetId:          node: mysubnet  mysg:    type: HuaweiCloud.VPC.SecurityGroup    properties:      name: my-sg    requirements:      - vpcId:          node: myvpc  mysgrule:    type: HuaweiCloud.VPC.SecurityGroupRule    properties:      direction: ingress      securityGroupId:        get_reference: mysg      ethertype: IPv4      maxPort: 5444      minPort: 5443      protocol: TCP    requirements:      - securityGroupId:          node: mysg  myredis:    type: HuaweiCloud.DCS.Redis    properties:      capacity: 2      securityGroupId:        get_reference: mysg      instanceMode: single      subnetId:        get_reference: mysubnet      password:        get_input: myredis_password      vpcId:        get_reference: myvpc    requirements:      - subnetId:          node: mysubnet      - securityGroupId:          node: mysg      - vpcId:          node: myvpc模板中有如下几个参数:1.         capacity:分布式缓存实例的容量,默认值为2。2.         securityGroupId:分布式缓存实例使用的安全组ID。3.         instanceMode:分布式缓存实例的类型,可填写single、HA或cluster。4.         subnetId:分布式缓存实例的子网ID。5.         password:分布式缓存实例的登录密码,建议定义为get_input方式获取,由用户在创建堆栈时输入,以保证安全性,避免明文密码。关于inputs的用法,将在后面章节介绍。6.         vpcId:分布式缓存实例所属的虚拟私有云ID。分布式缓存创建成功:
  • DBA·王的Redis优化历程
    【摘要】 华为云分布式缓存服务Redis提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,且实例类型丰富,可满足用户高并发及快速数据访问的业务诉求。新一代分布式缓存服务Redis可实现实例8秒创建、单节点性能提升300%、可以G单位进行弹性扩展、提供可视化WebCli访问Redis。
  • DBA·王的Redis优化历程
    【摘要】 华为云分布式缓存服务Redis提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,且实例类型丰富,可满足用户高并发及快速数据访问的业务诉求。新一代分布式缓存服务Redis可实现实例8秒创建、单节点性能提升300%、可以G单位进行弹性扩展、提供可视化WebCli访问Redis。
  • Redis缓存数据库安全加固指导(二)
    背景在众多开源缓存技术中,Redis无疑是目前功能最为强大,应用最多的缓存技术之一,参考2018年国外数据库技术权威网站DB-Engines关于key-value数据库流行度排名,Redis暂列第一位,但是原生Redis版本在安全方面非常薄弱,很多地方不满足安全要求,如果暴露在公网上,极易受到恶意攻击,导致数据泄露和丢失。本文主要是在原生开源软件Redis3.0基础上,系统的在安全特性方面进行的增强,很多增强点涉及了开源代码的修改,后续章节阐述的Redis缓存数据库的安全规范, 理论上适用于所有应用Redis的产品。本系列共连载三篇,分九个章节,本文从敏感数据与加密保护,口令安全,日志审计三个章节阐述了Redis缓存数据库加固措施。1      敏感数据与加密保护1.1      密码保存(重要)安全问题:原生Redis服务端密码requirepass和masterauth是明文保存到redis.conf。解决方案: 服务端密码采用PBKDF2加密后保存到redis.conf。考虑到性能问题,每次认证都用PBKDF2会比较耗时,经过评审,采用在首次认证成功后,内存采用SHA256缓存,后续的请求优先使用SHA256校验。1.2      支持秘钥替换(重要)安全问题:涉及加解密的秘钥不能写死到代码中。解决方案: 秘钥支持定期替换。·   redis服务端redis-server:配置文件增加配置项:cipher-dir配置为redis_shared.key和root.key所在的文件夹的全路径,例如:cipher-dir /opt/redis/etc/cipher·    redis客户端:redis-cli添加参数-cipherdir,指向redis_shared.key和root.key所在的文件夹的全路径例如:redis-cli -h 127.0.0.1 -cipherdir /opt/redis/etc/cipher -a sessionrdb@dbuser@Changeme_123 -p 32091·    redis客户端SDK:jedis*.jar同一个进程内,Jedis接口为string, dbname@user@pwd,因为第三方接口(类似Jdbc),无法加密。1.3      密码传输(重要)安全问题:原生Redis通过config get命令可能获取到服务端敏感信息。解决方案:禁止将口令等敏感信息传送到客户端,因此需要禁掉config get requirepas/masterauth/requireuserpass等功能。1.4      密码修改(重要)安全问题:修改密码明文传输:config set masterauth pwd解决方案:Redis内存保存明文密码问题: masterauth 使用AES128加密,密码采用AES128保存2      口令安全2.1      产品缺省启用数据库口令复杂度检查功能安全问题:Redis修改密码没有复杂度检查。解决方案:提供单独的Redis修改工具来修改密码,特别注意以下几点。1.  进行口令复杂度检查。2.  在输入错误的用户名或密码时,不能出现类似于“密码错误”、“用户名不存在”之类的过于明确的原因提示信息,以防止攻击者用于猜解系统用户名/口令。3.  修改密码要校验老密码。4.  修改数据库密码不能和用户名一样。5.  交互式密码修改时要隐藏密码。6.  在文档中建议通过交互式修改密码。 2.2      防暴力破解,配置账户登录失败尝试次数安全问题:Redis原生版本存在暴力破解情况。解决方案:最大失败次数:maxauthfailtimes(单位 次,有效范围(0,10万],默认值1万)说明: 该配置项只支持在启动时redis.conf配置,不支持动态修改,屏蔽掉对应config set。不支持设置为0:表示不锁定任何IP。2.3      配置账户锁定后自动解锁时间鉴权失败锁定时间:authfaillocktime(单位分钟,有效范围[0~999],默认值10)设置为0时,表示永久锁定。说明: 该配置项只支持在启动时redis.conf配置,不支持动态修改,屏蔽掉对应config set。2.4      查看锁定IP问题:IP锁定后需要查看被锁定IP。解决方案:只有管理员可以查看已经锁定的IP列表,分隔符为英文冒号(:)示例1:config get lockedips返回:10.67.147.111;10.67.147.112;示例2:config get lockedips返回:10.67.147.111;说明:不支持config set lockedips,如果强制执行,返回错误:ERR Unsupported CONFIG parameter: lockedips2.5      手工锁定IP的解除只有管理员可以执行命令解锁锁定的IP,只支持解锁单个IP或者解锁全部IP解决方案:示例1,解锁单个IP:config set unlockips 10.67.147.111示例2,解锁所有IP:config set unlockips “all”说明:不支持config get unlockips,如果强制执行,返回空,redis-cli提示:(empty list or set)如果参数中的IP没有出现过异常,会返回解锁失败,例如:(error) ERR Invalid argument '10.67.147.111' for CONFIG SET 'unlockips'执行手动解锁,记录trace,例如:例如:26 Dec 03:15:19.958 * 10.67.147.113 unlocked by 10.67.147.111:59417日志审计2.6      安全审计1.         Redis自身支持日志记录到系统日志,如/var/log/localmessage。但需要通过在redis.conf进行如下配置:syslog-enabled yessyslog-ident redissyslog-facility local02.         客户端登录,记录客户端IP,账号等信息。3.         相关维护操作必须有详细的日志记录。示例: 29118:S 26 Nov 11:19:29.100 * The readdbuser logged in successfully;10.145.93.119:52817;2.7      操作日志转储安全问题:官方版本Redis日志不会转储,长时间运行可能会把磁盘占满。解决方案:单独运行tracemonitor进程(python版),定期管理Redis日志文件大小,主要是日志压缩和定期删除,避免占用过多磁盘。说明:目前平台默认60秒检测一次,日志达到20M压缩,日志个数最大50个。目前,华为云DCS Redis有免费使用活动,小伙伴们可以来试试:欢迎扫码查看更多精彩:
  • [热门活动] 【免费赠书】华为云发布新一代缓存Redis,留言评论领福利!
    9月14日,华为EBG中国区行业云拓展部部长胡维琦在大会现场进行了“做有信仰的云,在创新的道路上加速奔跑”的主题演讲,发布了华为云全新产品:新一代分布式缓存Redis。华为云结合自身优势以及多年的实践经验,在缓存技术领域不断探索和追求,为用户提供高可靠、高性能、企业级的云缓存服务,帮助企业应用快速上云,从容面对数字时代的转型和挑战。现在,只要点击《华为云发布新一代缓存Redis》,免费体验分布式缓存服务Redis,在文章中留言说出你的使用心得,(截至9月21日0点)点赞数超过10的前三名可获得《Redis开发与运维》技术书籍一本呦!扫一扫,在微信中打开文章:
  • 【免费赠书】华为云发布新一代缓存Redis,留言评论领福利!
    9月14日,华为EBG中国区行业云拓展部部长胡维琦在大会现场进行了“做有信仰的云,在创新的道路上加速奔跑”的主题演讲,发布了华为云全新产品:新一代分布式缓存Redis。华为云结合自身优势以及多年的实践经验,在缓存技术领域不断探索和追求,为用户提供高可靠、高性能、企业级的云缓存服务,帮助企业应用快速上云,从容面对数字时代的转型和挑战。现在,只要点击《华为云发布新一代缓存Redis》,免费体验分布式缓存服务Redis,在文章中留言说出你的使用心得,(截至9月21日0点)点赞数超过10的前三名可获得《Redis开发与运维》技术书籍一本呦!扫一扫,在微信中打开文章:
  • 如何通过外网连接DCS Redis
    目前,DCS Redis实例推出了新功能,可通过公网地址连接华为云上的DCS Redis实例。DCS实例大部分情况下只能仅能通过华为云内网连接,即只能通过同一VPC内ECS上的客户端连接DCS实例。使用场景公网连接Redis缓存实例,主要是为了方便开发人员在本地搭建开发或测试环境,提高开发效率。生产环境(正式环境)的使用,请通过VPC内连接方式访问缓存实例,保障访问效率。环境准备已购买密码模式的DCS Redis实例,并记录实例的ID,连接密码等信息。(为确保通信安全,免密模式的实例不支持公网访问。如果是免密模式,需要通过重置密码将实例变为密码模式。重置密码参考重置实例密码)Redis实例安全组配置了正确的规则(允许36379端口被外部地址访问)。这样客户端才能正常连接Redis实例。本地机器上已安装Redis-Cli客户端。开启公网访问开关登录DCS的管理控制台。进入Redis实例的详情页面。单击“公网访问”右侧的开关。选择一个弹性IP,并记录弹性IP。Stunnel客户端安装配置以下操作均在Linux系统进行,Windows系统的操作步骤可参考DCS Redis公网连接参考文档。安装Stunnel客户端。apt-get的方式:apt install stunnel 或apt-get install stunnelyum方式:yum install stunnel其他方式,请参考DCS Redis公网连接参考文档中的详细步骤。设置Stunnel相关参数。编辑/etc/default/stunnel4,将参数ENABLED设置为1。说明:不同的Linux系统版本,配置文件名称可能有差异,可在/etc/default/路径下查找该文件。配置实例连接的相关参数。在配置文件stunnel.conf中配置以下参数:debug = 4 output = /var/log/stunnel.log sslVersion = all [redis-client] client = yes accept = 8000 connect = {弹性IP地址}:{端口} CAfile = /etc/stunnel/dcs-ca.cer以下参数需要根据说明修改,其他参数不用修改:client值固定填yes,表示为Stunnel客户端。CAfile为CA证书,可选。如果需要,可进入到实例详情页面下载该证书;如果不需要,此参数请删除。accept为Stunnel监听端口,可以自定义。Redis客户端访问缓存实例时填写此端口。connect为Stunnel转发地址与端口,此处填Redis实例的IP地址与端口,即分别替换为步骤1获取的弹性IP地址和端口。启动stunnel服务。stunnel 或 stunnel /{customdir}/stunnel.conf 或 service stunnel4 start 或 systemctl start stunnel4连接实例以Redis-Cli客户端在Linux上的操作为例:./redis-cli -p 8000auth ****************替换为实例的连接密码。目前,华为云DCS Redis有免费使用活动,小伙伴们可以来试试:进一步了解Redis相关内容,请联系中间件小哥。
  • 【转载】深入了解一下Redis的内存模型!
    本文转载自:https://zhuanlan.zhihu.com/p/37487213前言Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分。我们使用Redis时,会接触Redis的5种对象类型(字符串、哈希、列表、集合、有序集合),丰富的类型是Redis相对于Memcached等的一大优势。在了解Redis的5种对象类型的用法和特点的基础上,进一步了解Redis的内存模型,对Redis的使用有很大帮助,例如:1、估算Redis内存使用量。目前为止,内存的使用成本仍然相对较高,使用内存不能无所顾忌;根据需求合理的评估Redis的内存使用量,选择合适的机器配置,可以在满足需求的情况下节约成本。2、优化内存占用。了解Redis内存模型可以选择更合适的数据类型和编码,更好的利用Redis内存。3、分析解决问题。当Redis出现阻塞、内存占用等问题时,尽快发现导致问题的原因,便于分析解决问题。这篇文章主要介绍Redis的内存模型(以3.0为例),包括Redis占用内存的情况及如何查询、不同的对象类型在内存中的编码方式、内存分配器(jemalloc)、简单动态字符串(SDS)、RedisObject等;然后在此基础上介绍几个Redis内存模型的应用。在后面的文章中,会陆续介绍关于Redis高可用的内容,包括主从复制、哨兵、集群等等,欢迎关注。目录一、Redis内存统计二、Redis内存划分1、数据2、进程本身运行需要的内存3、缓冲内存4、内存碎片三、Redis数据存储的细节1、概述2、jemalloc3、redisObject4、SDS四、Redis的对象类型与内部编码1、字符串2、列表3、哈希4、集合5、有序集合五、应用举例1、估算Redis内存使用量2、优化内存占用3、关注内存碎片率一、Redis内存统计工欲善其事必先利其器,在说明Redis内存之前首先说明如何统计Redis使用内存的情况。在客户端通过redis-cli连接服务器后(后面如无特殊说明,客户端一律使用redis-cli),通过info命令可以查看内存使用情况:1info memory其中,info命令可以显示redis服务器的许多信息,包括服务器基本信息、CPU、内存、持久化、客户端连接信息等等;memory是参数,表示只显示内存相关的信息。返回结果中比较重要的几个说明如下:(1)used_memory:Redis分配器分配的内存总量(单位是字节),包括使用的虚拟内存(即swap);Redis分配器后面会介绍。used_memory_human只是显示更友好。(2)used_memory_rss:Redis进程占据操作系统的内存(单位是字节),与top及ps命令看到的值是一致的;除了分配器分配的内存之外,used_memory_rss还包括进程运行本身需要的内存、内存碎片等,但是不包括虚拟内存。因此,used_memory和used_memory_rss,前者是从Redis角度得到的量,后者是从操作系统角度得到的量。二者之所以有所不同,一方面是因为内存碎片和Redis进程运行需要占用内存,使得前者可能比后者小,另一方面虚拟内存的存在,使得前者可能比后者大。由于在实际应用中,Redis的数据量会比较大,此时进程运行占用的内存与Redis数据量和内存碎片相比,都会小得多;因此used_memory_rss和used_memory的比例,便成了衡量Redis内存碎片率的参数;这个参数就是mem_fragmentation_ratio。(3)mem_fragmentation_ratio:内存碎片比率,该值是used_memory_rss / used_memory的比值。mem_fragmentation_ratio一般大于1,且该值越大,内存碎片比例越大。mem_fragmentation_ratio<1,说明Redis使用了虚拟内存,由于虚拟内存的媒介是磁盘,比内存速度要慢很多,当这种情况出现时,应该及时排查,如果内存不足应该及时处理,如增加Redis节点、增加Redis服务器的内存、优化应用等。一般来说,mem_fragmentation_ratio在1.03左右是比较健康的状态(对于jemalloc来说);上面截图中的mem_fragmentation_ratio值很大,是因为还没有向Redis中存入数据,Redis进程本身运行的内存使得used_memory_rss 比used_memory大得多。(4)mem_allocator:Redis使用的内存分配器,在编译时指定;可以是 libc 、jemalloc或者tcmalloc,默认是jemalloc;截图中使用的便是默认的jemalloc。二、Redis内存划分Redis作为内存数据库,在内存中存储的内容主要是数据(键值对);通过前面的叙述可以知道,除了数据以外,Redis的其他部分也会占用内存。Redis的内存占用主要可以划分为以下几个部分:1、数据作为数据库,数据是最主要的部分;这部分占用的内存会统计在used_memory中。Redis使用键值对存储数据,其中的值(对象)包括5种类型,即字符串、哈希、列表、集合、有序集合。这5种类型是Redis对外提供的,实际上,在Redis内部,每种类型可能有2种或更多的内部编码实现;此外,Redis在存储对象时,并不是直接将数据扔进内存,而是会对对象进行各种包装:如redisObject、SDS等;这篇文章后面将重点介绍Redis中数据存储的细节。2、进程本身运行需要的内存Redis主进程本身运行肯定需要占用内存,如代码、常量池等等;这部分内存大约几兆,在大多数生产环境中与Redis数据占用的内存相比可以忽略。这部分内存不是由jemalloc分配,因此不会统计在used_memory中。补充说明:除了主进程外,Redis创建的子进程运行也会占用内存,如Redis执行AOF、RDB重写时创建的子进程。当然,这部分内存不属于Redis进程,也不会统计在used_memory和used_memory_rss中。3、缓冲内存缓冲内存包括客户端缓冲区、复制积压缓冲区、AOF缓冲区等;其中,客户端缓冲存储客户端连接的输入输出缓冲;复制积压缓冲用于部分复制功能;AOF缓冲区用于在进行AOF重写时,保存最近的写入命令。在了解相应功能之前,不需要知道这些缓冲的细节;这部分内存由jemalloc分配,因此会统计在used_memory中。4、内存碎片内存碎片是Redis在分配、回收物理内存过程中产生的。例如,如果对数据的更改频繁,而且数据之间的大小相差很大,可能导致redis释放的空间在物理内存中并没有释放,但redis又无法有效利用,这就形成了内存碎片。内存碎片不会统计在used_memory中。内存碎片的产生与对数据进行的操作、数据的特点等都有关;此外,与使用的内存分配器也有关系:如果内存分配器设计合理,可以尽可能的减少内存碎片的产生。后面将要说到的jemalloc便在控制内存碎片方面做的很好。如果Redis服务器中的内存碎片已经很大,可以通过安全重启的方式减小内存碎片:因为重启之后,Redis重新从备份文件中读取数据,在内存中进行重排,为每个数据重新选择合适的内存单元,减小内存碎片。三、Redis数据存储的细节1、概述关于Redis数据存储的细节,涉及到内存分配器(如jemalloc)、简单动态字符串(SDS)、5种对象类型及内部编码、redisObject。在讲述具体内容之前,先说明一下这几个概念之间的关系。下图是执行set hello world时,所涉及到的数据模型。图片来源:https://searchdatabase.techtarget.com.cn/7-20218/(1)dictEntry:Redis是Key-Value数据库,因此对每个键值对都会有一个dictEntry,里面存储了指向Key和Value的指针;next指向下一个dictEntry,与本Key-Value无关。(2)Key:图中右上角可见,Key(”hello”)并不是直接以字符串存储,而是存储在SDS结构中。(3)redisObject:Value(“world”)既不是直接以字符串存储,也不是像Key一样直接存储在SDS中,而是存储在redisObject中。实际上,不论Value是5种类型的哪一种,都是通过redisObject来存储的;而redisObject中的type字段指明了Value对象的类型,ptr字段则指向对象所在的地址。不过可以看出,字符串对象虽然经过了redisObject的包装,但仍然需要通过SDS存储。实际上,redisObject除了type和ptr字段以外,还有其他字段图中没有给出,如用于指定对象内部编码的字段;后面会详细介绍。(4)jemalloc:无论是DictEntry对象,还是redisObject、SDS对象,都需要内存分配器(如jemalloc)分配内存进行存储。以DictEntry对象为例,有3个指针组成,在64位机器下占24个字节,jemalloc会为它分配32字节大小的内存单元。下面来分别介绍jemalloc、redisObject、SDS、对象类型及内部编码。2、jemallocRedis在编译时便会指定内存分配器;内存分配器可以是 libc 、jemalloc或者tcmalloc,默认是jemalloc。jemalloc作为Redis的默认内存分配器,在减小内存碎片方面做的相对比较好。jemalloc在64位系统中,将内存空间划分为小、大、巨大三个范围;每个范围内又划分了许多小的内存块单位;当Redis存储数据时,会选择大小最合适的内存块进行存储。jemalloc划分的内存单元如下图所示:图片来源:http://blog.csdn.net/zhengpeitao/article/details/76573053例如,如果需要存储大小为130字节的对象,jemalloc会将其放入160字节的内存单元中。3、redisObject前面说到,Redis对象有5种类型;无论是哪种类型,Redis都不会直接存储,而是通过redisObject对象进行存储。redisObject对象非常重要,Redis对象的类型、内部编码、内存回收、共享对象等功能,都需要redisObject支持,下面将通过redisObject的结构来说明它是如何起作用的。redisObject的定义如下(不同版本的Redis可能稍稍有所不同):1234567typedef struct redisObject {  unsigned type:4;  unsigned encoding:4;unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */  int refcount;  void *ptr;} robj;redisObject的每个字段的含义和作用如下:(1)typetype字段表示对象的类型,占4个比特;目前包括REDIS_STRING(字符串)、REDIS_LIST (列表)、REDIS_HASH(哈希)、REDIS_SET(集合)、REDIS_ZSET(有序集合)。当我们执行type命令时,便是通过读取RedisObject的type字段获得对象的类型;如下图所示:(2)encodingencoding表示对象的内部编码,占4个比特。对于Redis支持的每种类型,都有至少两种内部编码,例如对于字符串,有int、embstr、raw三种编码。通过encoding属性,Redis可以根据不同的使用场景来为对象设置不同的编码,大大提高了Redis的灵活性和效率。以列表对象为例,有压缩列表和双端链表两种编码方式;如果列表中的元素较少,Redis倾向于使用压缩列表进行存储,因为压缩列表占用内存更少,而且比双端链表可以更快载入;当列表对象元素较多时,压缩列表就会转化为更适合存储大量元素的双端链表。通过object encoding命令,可以查看对象采用的编码方式,如下图所示:5种对象类型对应的编码方式以及使用条件,将在后面介绍。(3)lrulru记录的是对象最后一次被命令程序访问的时间,占据的比特数不同的版本有所不同(如4.0版本占24比特,2.6版本占22比特)。通过对比lru时间与当前时间,可以计算某个对象的空转时间;object idletime命令可以显示该空转时间(单位是秒)。object idletime命令的一个特殊之处在于它不改变对象的lru值。lru值除了通过object idletime命令打印之外,还与Redis的内存回收有关系:如果Redis打开了maxmemory选项,且内存回收算法选择的是volatile-lru或allkeys—lru,那么当Redis内存占用超过maxmemory指定的值时,Redis会优先选择空转时间最长的对象进行释放。(4)refcountrefcount与共享对象refcount记录的是该对象被引用的次数,类型为整型。refcount的作用,主要在于对象的引用计数和内存回收。当创建新对象时,refcount初始化为1;当有新程序使用该对象时,refcount加1;当对象不再被一个新程序使用时,refcount减1;当refcount变为0时,对象占用的内存会被释放。Redis中被多次使用的对象(refcount>1),称为共享对象。Redis为了节省内存,当有一些对象重复出现时,新的程序不会创建新的对象,而是仍然使用原来的对象。这个被重复使用的对象,就是共享对象。目前共享对象仅支持整数值的字符串对象。共享对象的具体实现Redis的共享对象目前只支持整数值的字符串对象。之所以如此,实际上是对内存和CPU(时间)的平衡:共享对象虽然会降低内存消耗,但是判断两个对象是否相等却需要消耗额外的时间。对于整数值,判断操作复杂度为O(1);对于普通字符串,判断复杂度为O(n);而对于哈希、列表、集合和有序集合,判断的复杂度为O(n^2)。虽然共享对象只能是整数值的字符串对象,但是5种类型都可能使用共享对象(如哈希、列表等的元素可以使用)。就目前的实现来说,Redis服务器在初始化时,会创建10000个字符串对象,值分别是0~9999的整数值;当Redis需要使用值为0~9999的字符串对象时,可以直接使用这些共享对象。10000这个数字可以通过调整参数REDIS_SHARED_INTEGERS(4.0中是OBJ_SHARED_INTEGERS)的值进行改变。共享对象的引用次数可以通过object refcount命令查看,如下图所示。命令执行的结果页佐证了只有0~9999之间的整数会作为共享对象。(5)ptrptr指针指向具体的数据,如前面的例子中,set hello world,ptr指向包含字符串world的SDS。(6)总结综上所述,redisObject的结构与对象类型、编码、内存回收、共享对象都有关系;一个redisObject对象的大小为16字节:4bit+4bit+24bit+4Byte+8Byte=16Byte。4、SDSRedis没有直接使用C字符串(即以空字符’\0’结尾的字符数组)作为默认的字符串表示,而是使用了SDS。SDS是简单动态字符串(Simple Dynamic String)的缩写。(1)SDS结构sds的结构如下:12345struct sdshdr {int len;int free;char buf[];};其中,buf表示字节数组,用来存储字符串;len表示buf已使用的长度,free表示buf未使用的长度。下面是两个例子。图片来源:《Redis设计与实现》通过SDS的结构可以看出,buf数组的长度=free+len+1(其中1表示字符串结尾的空字符);所以,一个SDS结构占据的空间为:free所占长度+len所占长度+ buf数组的长度=4+4+free+len+1=free+len+9。(2)SDS与C字符串的比较SDS在C字符串的基础上加入了free和len字段,带来了很多好处:获取字符串长度:SDS是O(1),C字符串是O(n)缓冲区溢出:使用C字符串的API时,如果字符串长度增加(如strcat操作)而忘记重新分配内存,很容易造成缓冲区的溢出;而SDS由于记录了长度,相应的API在可能造成缓冲区溢出时会自动重新分配内存,杜绝了缓冲区溢出。修改字符串时内存的重分配:对于C字符串,如果要修改字符串,必须要重新分配内存(先释放再申请),因为如果没有重新分配,字符串长度增大时会造成内存缓冲区溢出,字符串长度减小时会造成内存泄露。而对于SDS,由于可以记录len和free,因此解除了字符串长度和空间数组长度之间的关联,可以在此基础上进行优化:空间预分配策略(即分配内存时比实际需要的多)使得字符串长度增大时重新分配内存的概率大大减小;惰性空间释放策略使得字符串长度减小时重新分配内存的概率大大减小。存取二进制数据:SDS可以,C字符串不可以。因为C字符串以空字符作为字符串结束的标识,而对于一些二进制文件(如图片等),内容可能包括空字符串,因此C字符串无法正确存取;而SDS以字符串长度len来作为字符串结束标识,因此没有这个问题。此外,由于SDS中的buf仍然使用了C字符串(即以’\0’结尾),因此SDS可以使用C字符串库中的部分函数;但是需要注意的是,只有当SDS用来存储文本数据时才可以这样使用,在存储二进制数据时则不行(’\0’不一定是结尾)。(3)SDS与C字符串的应用Redis在存储对象时,一律使用SDS代替C字符串。例如set hello world命令,hello和world都是以SDS的形式存储的。而sadd myset member1 member2 member3命令,不论是键(”myset”),还是集合中的元素(”member1”、 ”member2”和”member3”),都是以SDS的形式存储。除了存储对象,SDS还用于存储各种缓冲区。只有在字符串不会改变的情况下,如打印日志时,才会使用C字符串。四、Redis的对象类型与内部编码前面已经说过,Redis支持5种对象类型,而每种结构都有至少两种编码;这样做的好处在于:一方面接口与实现分离,当需要增加或改变内部编码时,用户使用不受影响,另一方面可以根据不同的应用场景切换内部编码,提高效率。Redis各种对象类型支持的内部编码如下图所示(图中版本是Redis3.0,Redis后面版本中又增加了内部编码,略过不提;本章所介绍的内部编码都是基于3.0的):图片来源:《Redis设计与实现》关于Redis内部编码的转换,都符合以下规律:编码转换在Redis写入数据时完成,且转换过程不可逆,只能从小内存编码向大内存编码转换。1、字符串(1)概况字符串是最基础的类型,因为所有的键都是字符串类型,且字符串之外的其他几种复杂类型的元素也是字符串。字符串长度不能超过512MB。(2)内部编码字符串类型的内部编码有3种,它们的应用场景如下:int:8个字节的长整型。字符串值是整型时,这个值使用long整型表示。embstr:<=39字节的字符串。embstr与raw都使用redisObject和sds保存数据,区别在于,embstr的使用只分配一次内存空间(因此redisObject和sds是连续的),而raw需要分配两次内存空间(分别为redisObject和sds分配空间)。因此与raw相比,embstr的好处在于创建时少分配一次空间,删除时少释放一次空间,以及对象的所有数据连在一起,寻找方便。而embstr的坏处也很明显,如果字符串的长度增加需要重新分配内存时,整个redisObject和sds都需要重新分配空间,因此redis中的embstr实现为只读。raw:大于39个字节的字符串示例如下图所示:embstr和raw进行区分的长度,是39;是因为redisObject的长度是16字节,sds的长度是9+字符串长度;因此当字符串长度是39时,embstr的长度正好是16+9+39=64,jemalloc正好可以分配64字节的内存单元。(3)编码转换当int数据不再是整数,或大小超过了long的范围时,自动转化为raw。而对于embstr,由于其实现是只读的,因此在对embstr对象进行修改时,都会先转化为raw再进行修改,因此,只要是修改embstr对象,修改后的对象一定是raw的,无论是否达到了39个字节。示例如下图所示:2、列表(1)概况列表(list)用来存储多个有序的字符串,每个字符串称为元素;一个列表可以存储2^32-1个元素。Redis中的列表支持两端**和弹出,并可以获得指定位置(或范围)的元素,可以充当数组、队列、栈等。(2)内部编码列表的内部编码可以是压缩列表(ziplist)或双端链表(linkedlist)。双端链表:由一个list结构和多个l**ode结构组成;典型结构如下图所示:图片来源:《Redis设计与实现》通过图中可以看出,双端链表同时保存了表头指针和表尾指针,并且每个节点都有指向前和指向后的指针;链表中保存了列表的长度;dup、free和match为节点值设置类型特定函数,所以链表可以用于保存各种不同类型的值。而链表中每个节点指向的是type为字符串的redisObject。压缩列表:压缩列表是Redis为了节约内存而开发的,是由一系列特殊编码的连续内存块(而不是像双端链表一样每个节点是指针)组成的顺序型数据结构;具体结构相对比较复杂,略。与双端链表相比,压缩列表可以节省内存空间,但是进行修改或增删操作时,复杂度较高;因此当节点数量较少时,可以使用压缩列表;但是节点数量多时,还是使用双端链表划算。压缩列表不仅用于实现列表,也用于实现哈希、有序列表;使用非常广泛。(3)编码转换只有同时满足下面两个条件时,才会使用压缩列表:列表中元素数量小于512个;列表中所有字符串对象都不足64字节。如果有一个条件不满足,则使用双端列表;且编码只可能由压缩列表转化为双端链表,反方向则不可能。下图展示了列表编码转换的特点:其中,单个字符串不能超过64字节,是为了便于统一分配每个节点的长度;这里的64字节是指字符串的长度,不包括SDS结构,因为压缩列表使用连续、定长内存块存储字符串,不需要SDS结构指明长度。后面提到压缩列表,也会强调长度不超过64字节,原理与这里类似。3、哈希(1)概况哈希(作为一种数据结构),不仅是redis对外提供的5种对象类型的一种(与字符串、列表、集合、有序结合并列),也是Redis作为Key-Value数据库所使用的数据结构。为了说明的方便,在本文后面当使用“内层的哈希”时,代表的是redis对外提供的5种对象类型的一种;使用“外层的哈希”代指Redis作为Key-Value数据库所使用的数据结构。(2)内部编码内层的哈希使用的内部编码可以是压缩列表(ziplist)和哈希表(hashtable)两种;Redis的外层的哈希则只使用了hashtable。压缩列表前面已介绍。与哈希表相比,压缩列表用于元素个数少、元素长度小的场景;其优势在于集中存储,节省空间;同时,虽然对于元素的操作复杂度也由O(n)变为了O(1),但由于哈希中元素数量较少,因此操作的时间并没有明显劣势。hashtable:一个hashtable由1个dict结构、2个dictht结构、1个dictEntry指针数组(称为bucket)和多个dictEntry结构组成。正常情况下(即hashtable没有进行rehash时)各部分关系如下图所示:图片改编自:《Redis设计与实现》下面从底层向上依次介绍各个部分:dictEntrydictEntry结构用于保存键值对,结构定义如下:123456789typedef struct dictEntry{void *key;union{void *val;uint64_tu64;int64_ts64;}v;struct dictEntry *next;}dictEntry;其中,各个属性的功能如下:key:键值对中的键;val:键值对中的值,使用union(即共用体)实现,存储的内容既可能是一个指向值的指针,也可能是64位整型,或无符号64位整型;next:指向下一个dictEntry,用于解决哈希冲突问题在64位系统中,一个dictEntry对象占24字节(key/val/next各占8字节)。bucketbucket是一个数组,数组的每个元素都是指向dictEntry结构的指针。redis中bucket数组的大小计算规则如下:大于dictEntry的、最小的2^n;例如,如果有1000个dictEntry,那么bucket大小为1024;如果有1500个dictEntry,则bucket大小为2048。dicthtdictht结构如下:123456typedef struct dictht{dictEntry **table;unsigned long size;unsigned long sizemask;unsigned long used;}dictht;其中,各个属性的功能说明如下:table属性是一个指针,指向bucket;size属性记录了哈希表的大小,即bucket的大小;used记录了已使用的dictEntry的数量;sizemask属性的值总是为size-1,这个属性和哈希值一起决定一个键在table中存储的位置。dict一般来说,通过使用dictht和dictEntry结构,便可以实现普通哈希表的功能;但是Redis的实现中,在dictht结构的上层,还有一个dict结构。下面说明dict结构的定义及作用。dict结构如下:123456typedef struct dict{dictType *type;void *privdata;dictht ht[2];int trehashidx;} dict;其中,type属性和privdata属性是为了适应不同类型的键值对,用于创建多态字典。ht属性和trehashidx属性则用于rehash,即当哈希表需要扩展或收缩时使用。ht是一个包含两个项的数组,每项都指向一个dictht结构,这也是Redis的哈希会有1个dict、2个dictht结构的原因。通常情况下,所有的数据都是存在放dict的ht[0]中,ht[1]只在rehash的时候使用。dict进行rehash操作的时候,将ht[0]中的所有数据rehash到ht[1]中。然后将ht[1]赋值给ht[0],并清空ht[1]。因此,Redis中的哈希之所以在dictht和dictEntry结构之外还有一个dict结构,一方面是为了适应不同类型的键值对,另一方面是为了rehash。(3)编码转换如前所述,Redis中内层的哈希既可能使用哈希表,也可能使用压缩列表。只有同时满足下面两个条件时,才会使用压缩列表:哈希中元素数量小于512个;哈希中所有键值对的键和值字符串长度都小于64字节。如果有一个条件不满足,则使用哈希表;且编码只可能由压缩列表转化为哈希表,反方向则不可能。下图展示了Redis内层的哈希编码转换的特点:4、集合(1)概况集合(set)与列表类似,都是用来保存多个字符串,但集合与列表有两点不同:集合中的元素是无序的,因此不能通过索引来操作元素;集合中的元素不能有重复。一个集合中最多可以存储2^32-1个元素;除了支持常规的增删改查,Redis还支持多个集合取交集、并集、差集。(2)内部编码集合的内部编码可以是整数集合(intset)或哈希表(hashtable)。哈希表前面已经讲过,这里略过不提;需要注意的是,集合在使用哈希表时,值全部被置为null。整数集合的结构定义如下:12345typedef struct intset{uint32_t encoding;uint32_t length;int8_t contents[];} intset;其中,encoding代表contents中存储内容的类型,虽然contents(存储集合中的元素)是int8_t类型,但实际上其存储的值是int16_t、int32_t或int64_t,具体的类型便是由encoding决定的;length表示元素个数。整数集合适用于集合所有元素都是整数且集合元素数量较小的时候,与哈希表相比,整数集合的优势在于集中存储,节省空间;同时,虽然对于元素的操作复杂度也由O(n)变为了O(1),但由于集合数量较少,因此操作的时间并没有明显劣势。(3)编码转换只有同时满足下面两个条件时,集合才会使用整数集合:集合中元素数量小于512个;集合中所有元素都是整数值。如果有一个条件不满足,则使用哈希表;且编码只可能由整数集合转化为哈希表,反方向则不可能。下图展示了集合编码转换的特点:5、有序集合(1)概况有序集合与集合一样,元素都不能重复;但与集合不同的是,有序集合中的元素是有顺序的。与列表使用索引下标作为排序依据不同,有序集合为每个元素设置一个分数(score)作为排序依据。(2)内部编码有序集合的内部编码可以是压缩列表(ziplist)或跳跃表(skiplist)。ziplist在列表和哈希中都有使用,前面已经讲过,这里略过不提。跳跃表是一种有序数据结构,通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。除了跳跃表,实现有序数据结构的另一种典型实现是平衡树;大多数情况下,跳跃表的效率可以和平衡树媲美,且跳跃表实现比平衡树简单很多,因此redis中选用跳跃表代替平衡树。跳跃表支持平均O(logN)、最坏O(N)的复杂点进行节点查找,并支持顺序操作。Redis的跳跃表实现由zskiplist和zskipl**ode两个结构组成:前者用于保存跳跃表信息(如头结点、尾节点、长度等),后者用于表示跳跃表节点。具体结构相对比较复杂,略。(3)编码转换只有同时满足下面两个条件时,才会使用压缩列表:有序集合中元素数量小于128个;有序集合中所有成员长度都不足64字节。如果有一个条件不满足,则使用跳跃表;且编码只可能由压缩列表转化为跳跃表,反方向则不可能。下图展示了有序集合编码转换的特点:五、应用举例了解Redis的内存模型之后,下面通过几个例子说明其应用。1、估算Redis内存使用量要估算redis中的数据占据的内存大小,需要对redis的内存模型有比较全面的了解,包括前面介绍的hashtable、sds、redisobject、各种对象类型的编码方式等。下面以最简单的字符串类型来进行说明。假设有90000个键值对,每个key的长度是7个字节,每个value的长度也是7个字节(且key和value都不是整数);下面来估算这90000个键值对所占用的空间。在估算占据空间之前,首先可以判定字符串类型使用的编码方式:embstr。90000个键值对占据的内存空间主要可以分为两部分:一部分是90000个dictEntry占据的空间;一部分是键值对所需要的bucket空间。每个dictEntry占据的空间包括:1) 一个dictEntry,24字节,jemalloc会分配32字节的内存块2) 一个key,7字节,所以SDS(key)需要7+9=16个字节,jemalloc会分配16字节的内存块3) 一个redisObject,16字节,jemalloc会分配16字节的内存块4) 一个value,7字节,所以SDS(value)需要7+9=16个字节,jemalloc会分配16字节的内存块5) 综上,一个dictEntry需要32+16+16+16=80个字节。bucket空间:bucket数组的大小为大于90000的最小的2^n,是131072;每个bucket元素为8字节(因为64位系统中指针大小为8字节)。因此,可以估算出这90000个键值对占据的内存大小为:90000*80 + 131072*8 = 8248576。下面写个程序在redis中验证一下:123456789101112131415161718192021222324public class RedisTest {  public static Jedis jedis = new Jedis("localhost", 6379);  public static void main(String[] args) throws Exception{    Long m1 = Long.valueOf(getMemory());    insertData();    Long m2 = Long.valueOf(getMemory());    System.out.println(m2 - m1);  }  public static void insertData(){    for(int i = 10000; i < 100000; i++){      jedis.set("aa" + i, "aa" + i); //key和value长度都是7字节,且不是整数    }  }  public static String getMemory(){    String memoryAllLine = http://jedis.info("memory");    String usedMemoryLine = memoryAllLine.split("\r\n")[1];    String memory = usedMemoryLine.substring(usedMemoryLine.indexOf(':') + 1);    return memory;  }}运行结果:8247552理论值与结果值误差在万分之1.2,对于计算需要多少内存来说,这个精度已经足够了。之所以会存在误差,是因为在我们**90000条数据之前redis已分配了一定的bucket空间,而这些bucket空间尚未使用。作为对比将key和value的长度由7字节增加到8字节,则对应的SDS变为17个字节,jemalloc会分配32个字节,因此每个dictEntry占用的字节数也由80字节变为112字节。此时估算这90000个键值对占据内存大小为:90000*112 + 131072*8 = 11128576。在redis中验证代码如下(只修改**数据的代码):12345public static void insertData(){  for(int i = 10000; i < 100000; i++){    jedis.set("aaa" + i, "aaa" + i); //key和value长度都是8字节,且不是整数  }}运行结果:11128576;估算准确。对于字符串类型之外的其他类型,对内存占用的估算方法是类似的,需要结合具体类型的编码方式来确定。2、优化内存占用了解redis的内存模型,对优化redis内存占用有很大帮助。下面介绍几种优化场景。(1)利用jemalloc特性进行优化上一小节所讲述的90000个键值便是一个例子。由于jemalloc分配内存时数值是不连续的,因此key/value字符串变化一个字节,可能会引起占用内存很大的变动;在设计时可以利用这一点。例如,如果key的长度如果是8个字节,则SDS为17字节,jemalloc分配32字节;此时将key长度缩减为7个字节,则SDS为16字节,jemalloc分配16字节;则每个key所占用的空间都可以缩小一半。(2)使用整型/长整型如果是整型/长整型,Redis会使用int类型(8字节)存储来代替字符串,可以节省更多空间。因此在可以使用长整型/整型代替字符串的场景下,尽量使用长整型/整型。(3)共享对象利用共享对象,可以减少对象的创建(同时减少了redisObject的创建),节省内存空间。目前redis中的共享对象只包括10000个整数(0-9999);可以通过调整REDIS_SHARED_INTEGERS参数提高共享对象的个数;例如将REDIS_SHARED_INTEGERS调整到20000,则0-19999之间的对象都可以共享。考虑这样一种场景:论坛网站在redis中存储了每个帖子的浏览数,而这些浏览数绝大多数分布在0-20000之间,这时候通过适当增大REDIS_SHARED_INTEGERS参数,便可以利用共享对象节省内存空间。(4)避免过度设计然而需要注意的是,不论是哪种优化场景,都要考虑内存空间与设计复杂度的权衡;而设计复杂度会影响到代码的复杂度、可维护性。如果数据量较小,那么为了节省内存而使得代码的开发、维护变得更加困难并不划算;还是以前面讲到的90000个键值对为例,实际上节省的内存空间只有几MB。但是如果数据量有几千万甚至上亿,考虑内存的优化就比较必要了。3、关注内存碎片率内存碎片率是一个重要的参数,对redis 内存的优化有重要意义。如果内存碎片率过高(jemalloc在1.03左右比较正常),说明内存碎片多,内存浪费严重;这时便可以考虑重启redis服务,在内存中对数据进行重排,减少内存碎片。如果内存碎片率小于1,说明redis内存不足,部分数据使用了虚拟内存(即swap);由于虚拟内存的存取速度比物理内存差很多(2-3个数量级),此时redis的访问速度可能会变得很慢。因此必须设法增大物理内存(可以增加服务器节点数量,或提高单机内存),或减少redis中的数据。要减少redis中的数据,除了选用合适的数据类型、利用共享对象等,还有一点是要设置合理的数据回收策略(maxmemory-policy),当内存达到一定量后,根据不同的优先级对内存进行回收。