redis全量+增量迁移(已经在增量中)，发现目标实例键数>源实例键数，这是什么情况呢

#实惠更实用，跑赢新开局 #华为云618 15+款云原生2.0产品助力应用现代化！ Redis、Kafka、RockeMQ、研发工具等新客试用3.96元起 老客户也有专属优惠！下单抽FreeBuds耳机！ 更多产品优惠戳：http://t.cn/A6a7JhLQ #华为云 #618促销季

 #华为云开年采购季#15+云原生产品全场低至3折，新客1.98元起！ -Redis低至6折，Kafka、RabbitMQ、RocketMQ等低至5.5折，3年5折！ -数字资产链新客119元起，华为链新客19.8元起！ -软件开发生产线CodeArts，新客试用1.98元起！ -漏洞扫描、二进制成分分析、APP合规检测6.6折起！ -Serverless应用引擎CAE，新客试用109元起！ -ROMAConnect集成平台，打通新老应用，试用19.8元起！ 下单抽FreeBuds无线耳机！更多产品优惠戳：http://t.cn/A6a7JhLQ 活动有效期至2023年3月31日，上云正当时！>点击这里，马上进入活动专场<

 分布式缓存服务（Distributed Cache Service，简称DCS）是华为云提供的一款内存数据库服务，兼容了Redis和Memcached两种内存数据库引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。即开即用DCS提供单机、主备、Proxy集群、Cluster集群、读写分离类型的缓存实例，拥有从128M到1024G的丰富内存规格。您可以通过控制台直接创建，无需单独准备服务器资源。其中Redis 4.0、Redis 5.0和Redis 6.0版本采用容器化部署，秒级完成创建。安全可靠借助华为云统一身份认证、虚拟私有云、云监控与云审计等安全管理服务，全方位保护实例数据的存储与访问。灵活的容灾策略，主备/集群实例从单AZ（可用区）内部署，到支持跨AZ部署。弹性伸缩DCS提供对实例内存规格的在线扩容与缩容服务，帮助您实现基于实际业务量的成本控制，达到按需使用的目标。便捷管理可视化Web管理界面，在线完成实例重启、参数修改、数据备份恢复等操作。DCS还提供基于RESTful的管理API，方便您进一步实现实例自动化管理。在线迁移提供可视化Web界面迁移功能，支持备份文件导入和在线迁移两种方式，您可以通过控制台直接创建迁移任务，提高迁移效率。 以下是我们整理的DCS相关资料：分布式缓存服务DCS产品官方文档最新动态_分布式缓存服务 DCS_华为云 (huaweicloud.com)分布式缓存服务DCS功能总览功能总览_分布式缓存服务 DCS_华为云 (huaweicloud.com)分布式缓存服务DCS快速入门快速入门_分布式缓存服务 DCS_华为云 (huaweicloud.com)分布式缓存服务DCS用户指南管理和使用分布式缓存服务_分布式缓存服务 DCS_用户指南_使用前必读_华为云 (huaweicloud.com)分布式缓存服务DCS API参考概述_分布式缓存服务 DCS_API参考_使用前必读_华为云 (huaweicloud.com)华为云分布式缓存服务Redis（DCS），从入门到实践应用，循序渐进一站式学习Redis全景实践课_在线课程_华为云开发者学堂_云计算培训-华为云 (huaweicloud.com)

#华为云12·12#全场DevOps与中间件服务3折起，新用户1.98元起，老用户续订7折起！-Redis、Kafka、RabbitMQ、RocketMQ等低至5.5折，3年5折！-数字资产链7折起，区块链新客试用19.8元起！-软件开发生产线CodeArts，新客试用1.98元起！-漏洞扫描、二进制成分分析、APP合规检测6.6折起！下单抽FreeBuds无线耳机！戳连接：http://t.cn/A6a7JhLQ活动有效期至2022年12月31日，上云正当时！>点击这里，马上进入活动专场<

828选华为云，实惠更实用！研发与中间件专场全场3折起！ Redis、Kafka、数字资产链、软件开发平台，首购低至1.98元！ 下单抽FreeBuds耳机，满额送P50手机，助力企业转型云原生2.0！ 活动有效期至2022年9月16日，上云正当时！>点击这里，马上进入活动专场<

亲爱的开发者们，618年中钜惠来袭！参与试用，100%有礼！最高可得价值899元FreeBuds耳机，满额再送MateBook笔记本！>点击这里，马上进入活动专场<

【背景】新业务上云，需要获取环境中的redis 5.0 proxy 64G集群在GET以及SET命令操作下的性能指标。 【测试目标】测试redis 5.0 proxy 64G集群服务在1000并发访问下，集群的QPS能否达到100000【环境准备】硬件环境准备服务器数量可用区用途通用计算增强型 | c6.xlarge.2   | 4核 | 8GB3华北 北京四 可用区1测试机安装测试软件Redis 5.0 proxy 64G集群1华北 北京四 可用区1被测机提供被测环境测试软件安装（基于Centos 7.5安装）注：需在每台测试机器安装redis-benchmark客户端测试工具，DCS 4.0 cluster以及DCS cluster 5.0集群需使用memtier_benchmark测试工具，使用redis-benchmark时只能测试到一个节点。其余DCS实例的均可使用redis-benchmark测试工具。1.   安装步骤$ wget http://download.redis.io/releases/redis-5.0.8.tar.gz $ tar xzf redis-5.0.8.tar.gz  $ cd redis-5.0.8/src $ make 2.    命令格式[root@testceph ~]# redis-benchmark [-h <host>] [-p <port>] [-c <clients>] [-n <requests>] [-r <keyspacelen>] [-t <tests>]参数解释：-h   <hostname>服务器的主机名（默认值为127.0.0.1）-p   <port>服务器的端口号（默认值为6379）-s   <socket>服务器的套接字（会覆盖主机名和端口号）-a   <password>登录Redis时进行身份验证的密码。-c   <clients>并发的连接数量（默认值为50）-n   <requests>发出的请求总数（默认值为100000）-d   <size>SET/GET命令所操作的值的数据大小，以字节为单位（默认值为2）–dbnum <db>选择用于性能测试的数据库的编号（默认值为0）-r   <keyspacelen>随机键个数-t  <tests>测试的命令【环境拓扑】  【测试场景】场景场景描述测试命令检查点场景1使用1个客户端，总并发数为1000，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark -h 集群地址 -p 6379 -a 密码 -c 1000 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小场景2使用2个客户端，总并发数为1000，每个客户端并发数为500，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark –h 集群地址-p 6379 -a密码-c 500 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小场景3使用3个客户端，总并发数为1000，每个客户端并发数为334，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark –h 集群地址-p 6379 -a密码-c 334 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小场景4使用4个客户端，总并发数为1000，每个客户端并发数为250，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark –h 集群地址-p 6379 -a密码-c 250 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小场景5使用6个客户端，总并发数为1000，每个客户端并发数为167，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark –h 集群地址-p 6379 -a密码-c 167 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小场景6使用9个客户端，总并发数为1000，每个客户端并发数为111，总请求数为10000000，使用1000000个随机键，操作的数据大小为32字节，操作的命令为SET和GET./redis-benchmark –h 集群地址-p 6379 -a密码-c 111 -n 10000000  -r 1000000 -d 32 -t SET,GET分别查看SET以及GET下的QPS大小【测试结果】按照以上场景，使用3台压测机，分别在不同的客户端数量下进行并发访问，控制总并发数为1000，具体实验数据如下：由上述测试数据可得出，华为云redis 5.0 proxy 64G集群在1000并发下，可以支撑SET的QPS：27W，GET的QPS：28W，完全满足实验目标的QPS：10W。 

【背景】访问Redis 5.0 cluster集群出现OOM报错，报错信息为（error） OOM command not  allowed when used memory > ‘maxmemory’,部分ECS应用程序无法向数据库写入，影响服务的正常使用。执行set t2 s2时，数据库报错OOM，如下图：【拓扑】环境信息：Redis 5.0 cluster集群   4G内存  DCS网段：192.168.1.0/24分片1：master 192.168.1.12  slave 192.168.1.37分片2：master 192.168.1.10  slave 192.168.1.69分片3：master 192.168.1.26  slave 192.168.1.134 【分析思路】【详细步骤】一、查看监控查看Redis实例监控，显示Redis集群内存占用46.97%，无明显异常，结果如下图所示：查看节点的内存监控。其中分片2中master节点192.168.1.10内存使用率达到100%，其余两个分片分内存使用率均在20%左右，结果如下图所示：二、确认异常分片信息通过上述监控信息可得知，该redis集群中的分片2中内存使用率达100%。有且仅有该分片内存异常。三、大KEY分析在线分析①    工具分析：使用华为云管理控制台缓存分析-大Key分析工具。执行完成后，查看信息即可。结果如下图所示：（string类型保存top20，list/set/zset/hash类型保存top80）具体使用方法参考以下链接：https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190808001.html②    命令分析：使用redis-cli -h IP -p port –bigkeys命令，该工具会列出各个类型数据中大Key中的最大的那个key的信息。结果如下图所示：如上图所示，可以得出该环境中string类型的大key为“nc_filed/_pk”,大小为13283byte，list、set、hash、zset类型的数据未发现大key。离线方式离线分析需要使用专门的rdb_bigkeys分析工具，对rdb文件进行分析。工具地址： https://github.com/weiyanwei412/rdb_bigkeys。具体步骤如下：编译方法：# yum install git go -y# mkdir /home/gocode/# cd /home/gocode/# git clone https://github.com/weiyanwei412/rdb_bigkeys.git# cd rdb_bigkeys# go build执行完成生成可执行文件rdb_bigkeys。使用方法： ./rdb_bigkeys -bytes 1024 -file bigkeys.csv -sorted -threads 4 /home/redis/dump.rdb参数说明：-bytes 1024：筛选大于1024字节的key-file bigkeys.csv：将结果保存到bigkeys.csv文件-sorted：从大到小进行排序-threads：使用的线程个数/home/redis/dump.rdb：实际的rdb文件路径生成文件样式如下所示：每列分别为数据库编号，key类型，key名，key大小，元素数量，最大值元素名，元素大小，key过期时间。文档链接：https://www.cnblogs.com/yqzc/p/12425533.html四、解决方案导致本次OOM问题的根因为大KEY导致数据大小分布不均匀，某一个分片内存达到maxmemory，在进行数据写入的过程中，如果调度到该分片，则会产生OOM问题。将该分片的rdb文件导出一份，以便于后期针对大key做对应的优化。临时方案：为尽快回复业务，删除上有步骤中查询到的大KEY，执行操作如下：(非字符串的bigkey，不要使用 del 删除，使用 hscan、sscan、zscan 方式渐进式删除）长期方案：通过对大KEY进行拆分，将一个大的KEY拆分为多个小的KEY, 变成value1，value2… valueN，打散分不到不同的分片中，避免因为数据倾斜导致的数据分布不均。其他的类型的数据也可以按照相同的方式进行拆分重组，从而避免大KEY带来的影响。五、 结果验证查看分片监控，192.168.1.10内存使用率下降到24%，结果如下图所示：执行set t2 s2，返回正常，登录集群，执行get命令，正常返回数据信息。结果如下所示，至此业务恢复正常。 【优化及建议】1) 配置节点级别的内存利用率监控指标的告警。如果某个节点存在大key，这个节点比其他节点内存使用率高很多，会触发告警，便于用户发现潜在的大key。2) 配置节点级别的入网最大带宽、出网最大带宽、CPU利用率监控指标的告警。如果某个节点存在热key，这个节点的带宽占用、CPU利用率都比其他节点高，该节点会容易触发告警，便于用户发现潜在热key。3) string类型控制在10KB以内，hash、list、set、zset元素尽量不超过5000。4) 定期通过大key、热key分析工具检查集群中是否存在大key问题，尽早识别风险。