2020-10-29：使用redis实现分布式限流组件，要求高并发场景同一IP一分钟内只能访问100次，超过限制返回异常，写出实现思路或伪代码均可。#福大大架构师每日一题#

redis 淘汰策略volatile-lru：从已设置过期时间的数据集（server. db[i]. expires）中挑选最近最少使用的数据淘汰。volatile-ttl：从已设置过期时间的数据集（server. db[i]. expires）中挑选将要过期的数据淘汰。volatile-random：从已设置过期时间的数据集（server. db[i]. expires）中任意选择数据淘汰。allkeys-lru：从数据集（server. db[i]. dict）中挑选最近最少使用的数据淘汰。allkeys-random：从数据集（server. db[i]. dict）中任意选择数据淘汰。no-enviction（驱逐）：禁止驱逐数据。

redis 实现分布式锁Redis 分布式锁其实就是在系统里面占一个“坑”，其他程序也要占“坑”的时候，占用成功了就可以继续执行，失败了就只能放弃或稍后重试。占坑一般使用 setnx(set if not exists)指令，只允许被一个程序占有，使用完调用 del 释放锁。

【直播时间】DevRun开发者沙龙直播时间：2020年10月27日 20:00~21:00【直播主题】当Redis遇见计算存储分离【活动介绍】本期DevRun开发者沙龙，将由华为云数据库技术专家文龙&生态总监张一一，为大家深度解析当Redis遇上计算存储分离的奥秘。凡在本主题帖中留言、参与直播互动或者论坛互动的用户均可参与抽奖，蓝牙音箱，移动电源，数据线，华为云定制T-shirt等多重好礼等你来拿~【报名入口】点击下面链接或扫描微信二维码报名参加直播。报名链接：https://bbs.huaweicloud.com/signup/715fb0ade3f541928a677733c1e93cbd?utm_source=webinar&utm_medium=signup&utm_campaign=signup 报名二维码：【直播地址】官方直播间地址：https://vhall.huawei.com/fe/watch/6308官方直播间二维码：虎牙：https://www.huya.com/huaweiyun斗鱼：https://www.douyu.com/huaweiyunB站：https://live.bilibili.com/21945422【互动送好礼】（互动时间截至10月30日24：00）满足下面的一个条件即可参与抽奖：1、报名参加直播。2、在本主题帖中跟帖盖楼，留言“ GaussDB(for Redis)真牛”；3、在本主题帖中跟帖，留言“提问：xxx”、“建议：xxx”或“反馈：xxx”等；4、直播观后感；5、在数据库论坛发帖互动（问题求助、博文分享、问题解答、产品体验等与数据库有关的话题）。【获奖规则】1、互动幸运奖：     奖品：海纳斯小风扇         评价规则：完成报名的直播用户和参与本主题留言用户中，随机抽取若干名。2、优秀参与奖：     奖品：手机懒人支架         评奖规则：活动结束后，在本主题的留言中，选取最优秀的回帖若干名。3、同一个用户只能参与一次评选，同一ID用户不可重复中奖。4、为保证公平公正，抽奖结果将在活动结束后7个工作日内本主题帖中发布，请报名和留言的伙伴关注社区内容。【资料下载】10.27#DevRun开发者沙龙#当Redis遇上计算存储分离-见附件 【获奖名单】 幸运奖：海纳斯小风扇dadizhishufranco52576云之声小而suncker知恩呐魂归提克里特yzq13470495155互动奖：手机懒人支架神的孩子全跳舞linghz666hw96958yzq18941596181帕加尼风之子8866小强鼓掌Johnson远鹏张辉恭喜以上用户获得本期DevRun开发者沙龙直播社群互动奖，请点击下面链接或扫二维码填写您的收件信息链接：https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=ab9c14f37a7d42f3b6708fc33ac1f7fd 二维码：获奖用户已私信通知，请您注意查看，及时填写信息，我们会尽快发出奖品。如您未在11月12日24：00之前提交获奖信息，视为您自动放弃。望周知。

2020-10-07：redis存在线程安全的问题吗？为什么？#福大大架构师每日一题#

【问题现象】数据重分布失败，查看gs_redis日志末尾有individual table redistribution failed报错【问题分析】重分布工具gs_redis日志默认在第一个cn节点的如下目录/var/log/Bigdata/mpp/omm/bin/gs_redis/gs_redis_xxxx.log查看gs_redis日志，通常会在日志末尾打印individual table redistribution failed，说明有某个线程在重分布过程中报错了可通过grep ERROR找到具体的报错信息，然后根据报错信息进一步分析处理。本案例中grep结果如下，有一张表对应的数据文件找不到，与业务确认此表可以删除，因此删除后重试即可。140xxx开头的这串数字是报错重分布线程的id，如果需要进一步查看报错上下文日志，可用这串数字作为关键词再次grep日志文件。【闭环方案】与业务确认删除故障表之后重新调起重分布。

今天带大家了解下DCS服务： 1.什么是DCS?         DCS（Distributed Cache Service）是华为企业云基于云计算平台的即开即用、稳定可靠、便捷管理的分布式Key-Value缓存服务。DCS提供完备的监控体系和多重安全防护措施，并提供专业的、多种模式的缓存管理平台。目前提供Redis单节点、主从备份两种类型的缓存服务。华为DCS保持了对开源Redis在接口和协议上的兼容，以及开源Redis的高速并发访问能力。同时做了在公有云环境上的服务化改造。使得DCS用户可以聚焦于业务逻辑本身，而无需过多考虑Redis本身部署、监控、扩容、安全、故障恢复等方面的问题。华为DCS提供了Web化的管理界面来方便的供用户购买服务，管理所购买的服务实例，对服务实例进行监控，在容量不足时可以在线扩容。华为DCS服务在安全性方面进行了多层加固，支持故障恢复以便在节点发生故障时自动切换到正常节点。2.使用场景            DCS拥有高性能读写(百万级并发)，数据量G级别，多种数据类型，需要持久化，能有效提高数据查询和读写效率，减轻管理维护工作量，降低数据库存储成本。

数据缓存功能；分布式锁的功能；支持数据持久化；支持事物；支持消息列队。

亲爱的同学们~华为云高校开发者青年班活动第五期正式上线！亮点：本期课程以学习小组形式开展，先报名后组队哦！往下翻了解详情~ 华为云开发者青年班，面向高校学生，顶级专家带队，助你提升求职竞争力！本期活动：华为云高校开发者青年班，学、练、赛三部曲，带你探索云原生，轻松玩转Redis、Kafka报名流程：https://developer.huaweicloud.com/hero/thread-71447-1-1.html1、点击上方网址链接报名活动2、加入开发者青年班活动交流群，获取最新活动态。3、点击下方链接预约本期课程>>点击预约课程获取报名奖励 进入页面点击加入课题即可预约成功，课程内容活动开始后将陆续开放，完成活动报名＋课程预约后，即可获得华为云定制水杯或华为云三合一数据线奖励组队说明：本期课程将采用组队学习的方式，以 5 人学习小队作为基础单位，统一进行报名、考核和评奖。每个小队需选出 1 位队长，负责统筹小组名单、发起讨论、组织观看直播、答疑、督促队员完成打卡等各环节任务，以确保小组学习效率和质量。而在最后的优秀成绩评奖环节中，优秀队长也将获得一份特别礼物哦。>>点击查看组队详情  快来召唤你的队友吧！！！ 往下看还有更多惊喜福利为什么要加入华为云开发者青年班？？？在这里，你将：有机会获得万元实物奖励以及码豆奖励有机会免费领取华为云云服务器、Redis、Kafka资源代金券有机会得到华为云高级技术专家的指导与答疑；有机会获得华为2020HC大会门票，带着作品参加华为年度科技盛会——全联接大会，面向全球开发者和数万名华为客户展示作品；有机会成为华为云学生精英，直通HERO高校联盟盟主队，享受更多权益； 活动内容简介：通过本期青年班，让你14天从入门到实践，掌握华为云分布式缓存服务Redis（DCS）和华为云分布式消息服务Kafka，循序渐进一站式学习加实操，加深对知识点的认知。还有详细的实验手册，更能让同学们在操作时得心应手。第一周的课程结合华为云分布式缓存服务Redis（DCS），从入门到实践应用，循序渐进一站式学习。5节精品课，囊括DCS入门、proxy集群和原生集群、大key热key在线分析、读写分离、在线迁移等内容，让你系统性掌握分布式缓存服务Redis。第二周的课程结合华为云分布式消息服务Kafka，从基础原理入门到实践操作，循序渐进一站式学习。5节精品课，囊括创建topic，生产消息、消费消息，编写生产/消费代码，Kafka服务架构机制、常用工具使用等内容，让你系统性掌握Kafka。每日内容 全程专家指导8月14日-9月6日招募期活动宣传招募期，大家可以邀请身边同学报名组队学习哦~8月31日开班直播华为云带你探索云原生，轻松玩转Redis、Kafka9月1日直播课华为云高级专家讲解Redis课程任务＋发放资源代金券9月1日-9月6日《Redis全景实践课》学习课程  第1章—分布式缓存服务Redis入门及特性介绍  第2章—proxy集群和原生集群  第3章—大key、热key在线分析  第4章—集群读写分离和主从读写分离  第5章—在线迁移（全量和增量）9月7日直播课华为云高级专家讲解本周课程任务＋发放资源代金券9月7日-9月13日《kafka全景实践课》学习课程  第1章—Kafka入门基础知识  第2章—Kafka生产机制与实践  第3章—Kafka消费机制与实践  第4章—Kafka服务架构与机制  第5章—Kafka常用工具介绍9月14日-9月18日毕业测验开发者青年班——结业考试结业证书发放【留下实战记录】 每日课程或实践任务，均在华为云开发者青年班HERO联盟中报名打卡并进行跟帖反馈指定任务截图【资源说明】本次活动为免费活动，活动中涉及全部资源，直播开课后会将免费资源以代金券形式发到大家的华为云账号中。注意：发放资源代金券前同学们需要先完成实名认证＋学生认证，否则无法正常领取哦！实名认证入口：https://account.huaweicloud.com/usercenter/#/accountindex/realNameAuth学生认证入口：https://account.huaweicloud.com/usercenter/#/accountindex/studentAuth特别提醒：本次活动以每天发放任务的形式在活动交流群内发布，同学们需在规定时间内完成学习任务并成功打卡，坚持打卡的同学才有机会获得结业证书哦~ 活动奖项：最佳成绩奖：第一名小组5人：华为云定制机械键盘＋华为云官网个人展示机会，组长额外获得40000码豆奖励＋华为HC大会门票＋HERO高校联盟文化衫＋HERO高校联盟棒球帽第二名小组5人：华为云定制机械键盘＋华为云官网个人展示机会，组长额外获得20000码豆奖励＋华为HC大会门票＋HERO高校联盟文化衫＋HERO高校联盟棒球帽第三名小组5人：华为云定制鼠标＋华为云官网个人展示机会，组长额外获得10000码豆奖励＋华为HC大会门票＋HERO高校联盟文化衫＋HERO高校联盟棒球帽注：坚持完成每日打卡，并完成结业考试，考试分数前三名小组同学均可获得奖励。优秀个人奖：华为云定制无线鼠标＋华为云官网个人展示机会注：优秀个人奖会根据活动宣传、群内互动答疑、课程学习、任务打卡等环节积极主动的同学表现进行发放哦直播互动奖：华为云三合一数据线注：本次活动中有三场直播，在直播间参与互动问答的同学可获得项目完成奖：华为云开发者青年班结业证书注：完成本次开发者青年班全部课程并通过测验的同学均可获得华为云开发者青年班结业证书活动参与奖：报名即可获得华为云定制水杯/华为云三合一数据线二选一＋云服务器、Redis、Kafka免费资源代金券！活动邀请奖：邀请15人，可获得华为云定制三合一数据线＋荣耀手环4 Running版邀请20人，华为云定制文件收纳包＋荣耀魔方蓝牙音箱邀请30人，可获得华为云定制折叠双肩包＋华为智能体脂秤 WiFi版 白色邀请40人，华为云高级定制书包＋罗技MK470键鼠套装 无线全尺寸键鼠套装 白色 带无线2.4G接收器邀请50人，华为云定制键盘＋华为云高级定制书包＋罗技G502 Hero主宰者RGB炫光游戏鼠标 全线升级Hero引擎 16000DPI 黑色邀请排名奖：参与活动邀请同学还可有机会获得邀请排名奖励哦，详细如下：邀请人数第1名，可获得HUAWEI nova 7 5G 前置3200万像素高清自拍 后置6400万变焦四摄 麒麟985 5G SoC 芯片 8GB+128GB 全网通版（绮境森林）价值：2999元 邀请人数第2~3名，可获得荣耀平板6 10.1英寸 4GB+128GB WiFi价值：1699元 邀请人数第4`6名，HUAWEI FreeBuds 3 无线耳机（陶瓷白）价值：899元>>点我获取个人专属活动邀请链接 

【重要公告】《开发者最佳实践挑战营》第八期活动已结束打卡名单及邀请名单已公示见：FAQ帖>>>注：统计截止2020年12月31日24:00前打卡数据为保证您顺利领取活动奖品，请全通关和获得邀请TOP奖的伙伴提前填写下方奖品收货信息链接。填写截止时间为1月8日，如您没有填写，视为放弃奖励填写地址请戳我>>欢迎参加华为云“开发者最佳实践挑战营”第八期这是本次挑战营的第3关，坚持闯关成功有机会获12900码豆/机械键盘/背包等精美好礼！本期活动截止12月31日。注意：参与闯关前，请确保已报名加入活动群并领取实践资源，如未入群请添加小助手微信（hwpaas01），回复“最佳实践”进入学习交流群！点击这里了解活动详情>>  | 点击这里查看活动FAQ>>为避免无法发放码豆，请从未登录过会员中心的用户需提前登陆下DevCloud会员中心在网页和APP中常常需要用到榜单的功能，对某个key-value的列表进行降序显示。当操作和查询并发大的时候，使用传统数据库就会遇到性能瓶颈，造成较大的时延。使用分布式缓存服务（DCS）的Redis版本，可以实现一个商品热销排行榜的功能。它的优势在于：  数据保存在缓存中，读写速度非常快。  提供字符串（String）、链表（List）、集合（Set）、哈希（Hash）等多种数据结构类型的存储。 （1）领取实践资源：1元ECS+Redis资源。点击这里领取资源或复制打开链接购买：http://suo.im/5FyHMG  （华南广州）（2）最佳实践指南：点击查看实践指南>> 注：登录ECS可以有多种方式，Windows推荐使用MSTSC方式远程链接桌面>>（3）视频操作演示：点击查看实践视频演示>>任务一：创建DCS Redis实例，查看实例详情并截图，截图需包含右上角华为云账号名，并按回帖格式要求在本帖中回帖；任务二：根据实践指南完成实践操作（可查看实践视频演示），将代码截图，将运行结果截图，并按回帖格式要求在本帖中回帖；注：已参加过上一期在本帖已闯关完成打卡的用户参与第八期通本关将不在发放通关奖励1.【通关、参与奖励&规则】点击这里填写报名登记表，完成提交可获100码豆（已提交的可忽略）① 参与奖励：每关完成创建实例可获100码豆，共8关最高可获得800码豆；② 通关奖励：通过2关赠送：2000码豆（可选关）通过4关赠送：4000码豆（可选关）通过6关赠送：6000码豆（可选关）通过8关赠送：8000码豆（全通关）取通关最高数发放码豆，全通关可额外获得旅行本（套装）1本（限量100本取最先全通关者发放）和“开发者最佳实践挑战达人”荣誉证书；全通关用户点击填写问卷，以便证书发放；2.【邀请奖励】：每邀请1位好友并成功完成1关或多关实践并打卡，可额外获得1000码豆（最高可获得3000码豆）；3.【邀请TOP榜奖励】：邀请好友并完成1关或多关实践并打卡，邀请榜前3可获得机械键盘（雷柏）1个，邀请榜4-10名可获得华为云定制背包1个（如有并列取最先邀请完成打卡者）4.【分享奖励】：点击这里进入分享活动（最高可获1000码豆）>>>5.【邀请有礼】：点击这里进入邀请好友报名活动瓜分30万码豆，（最高可获得66666码豆）>>>活动结束后5个工作日内公示通关名单，15个工作日内发放码豆奖励； 码豆有什么用？码豆为虚拟货币可用于在华为云码豆会员中心-兑换商城中进行实物/虚拟礼品的兑换（礼品会不定期更换）兑换礼品点击查看：华为云专属码豆商城>>> 请务必按照以下格式要求进行回帖，否则无法计算奖励：1、华为云账号：xxx（即右上角的字母数字组合ID）2、邀请人华为云账号：xxx（即右上角的字母数字组合ID，如无就不填）3、实践感想：（如对课程内容、产品体验的建议或感想等）4、体验任务截图：（打卡样例图）注：华为云账号请勿填错，如填错码豆无法发放到账。实践截图：至少包含(a)实例详情截图需包含右上角华为云账号、(b)代码截图、(c)运行结果截图三张截图。示例如下： 【快速传送门】第1关任务：基于API网关的电话号码归属地查询第2关任务：使用函数工作流服务为图片打水印第3关任务：使用Redis实现排行榜功能第4关任务：使用DMS Kafka优化消费者poll第5关任务：使用CPTS进行电商网站性能测试第6关任务：基于ServiceStage的天气预报应用部署第7关任务：使用CloudIDE在云端环境开发AI交付实操第8关任务：使用ModelArts实现零代码美食分类模型开发>>点击进入：开发者最佳实践挑战营第八期活动页>>点击进入：活动FAQ帖>>点击进入：邀请有礼，瓜分30万码豆，最高可获66666码豆！>>点击进入：分享任务，获码豆换好礼！

1

redis支持的数据类型有哪些？

背景描述：之前系统使用的是x86架构的centos系统。redis通过docker部署，可以直接拉取镜像启动。因为需要把项目迁移到鲲鹏平台上，发现redis无法启动。原因但是ARM64的CentOS服务器内存分页默认64Kb，其它主流服务器都是4Kb，redis启动时直接终止了进程，导致服务启动失败，且截至目前官方还没有提供解决方案解决目前折中处理方式是在部署的目标机器内，使用官方Dockerfile重新编译redis镜像.下载源码 git clone git@github.com:docker-library/redis.git cd redis/6.0-rc # 编译镜像，重命名为redis-arm:6.0-rc，可自定义 docker build -t redis-arm:6.0-rc 启动容器，注意必须带密码启动，否则有较大安全风险 docker run -d --restart always --name ogsp2-redis -p 19736:6379 redis-arm:6.0-rc --requirepass "og-password"

参照华为指导文件： https://www.huaweicloud.com/kunpeng/software/redis.html关键过程截图：编译遇到的问题总结：问题1：已解决，redis不是目录，相应的history操作如下问题2：加上如下可以解决问题3：如下操作可以解决/etc/init.d/redis权限被拒绝问题说明：以上是个人编译过程遇到的问题，仅供参考

感谢参与本期活动！本期《开发者最佳实践挑战营》活动已于7月8日24:00结束，可添加小助手微信等待下期开启添加小助手微信：zhongjianjianxiaoge欢迎参加华为云“开发者最佳实践挑战营”！这是本次挑战营的第3关，坚持闯关成功有机会获7000+码豆/体脂秤/手环/摄像机等精美好礼！本期活动截止7月8日。注意：参与闯关前，请确保已报名加入活动群并领取实践资源，如未入群请添加小助手微信（zhongjianjianxiaoge），回复“最佳实践”报名入群！点击这里了解活动详情>>  | 点击这里查看活动FAQ>>在网页和APP中常常需要用到榜单的功能，对某个key-value的列表进行降序显示。当操作和查询并发大的时候，使用传统数据库就会遇到性能瓶颈，造成较大的时延。使用分布式缓存服务（DCS）的Redis版本，可以实现一个商品热销排行榜的功能。它的优势在于：  数据保存在缓存中，读写速度非常快。  提供字符串（String）、链表（List）、集合（Set）、哈希（Hash）等多种数据结构类型的存储。 （1）领取实践资源：填写报名问卷即可领取1元10天ECS+Redis资源，点击填写问卷>>           注：已填写问卷可点击这里购买>>或复制打开购买链接：http://suo.im/5FyHMG（2）最佳实践指南：https://support.huaweicloud.com/bestpractice-dcs/dcs-bp-0312001.html            注：登录ECS可以有多种方式，Windows推荐使用MSTSC方式远程链接桌面：https://support.huaweicloud.com/usermanual-ecs/zh-cn_topic_0017955381.html（3）视频操作演示：https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXP021+Self-paced/courseware/226a64fb02e64396bc866a9ec44febca/b2012f9197c04587b9989be025120e79/（4）新手入门教学：《Redis 7天超速入门》《Redis全景实践课》 任务一：创建DCS Redis实例，查看实例详情并截图，截图需包含右上角华为云账号名，并按回帖格式要求在本帖中回帖；任务二：根据实践指南完成实践操作，将代码截图，将运行结果截图，并按回帖格式要求在本帖中回帖；1）通关、参与奖励&规则参与奖励、通关奖励限前150名完成的开发者（码豆奖励有限先到先得）①    参与奖励：每关完成创建实例可获100码豆，共6关最高可获得600码豆②    通关奖励：通过2关赠送：1000码豆通过4关赠送：2000码豆通过6关赠送：4000码豆活动结束后5个工作日内公示通关名单，15个工作日内发放码豆奖励。注：取通关最高值发放码豆奖励 2）分享任务规则&奖励：分享海报，每次分享可获得500码豆，最多可分享5次，可获2500码豆激励第一步： 分享以下文案+海报至朋友圈或100人以上技术群（微信、QQ、钉钉不限）。每次分享可获得500码豆，最高2500码豆！码豆可用于兑换DevCloud会员中心精美实物礼品。（1）文案：我正在参与华为云开发者最佳实践挑战营，场景化实战get云上开发技能，闯关还能赢好礼！（2）海报：添加小助手微信（zhongjianjianxiaoge），回复“分享海报”获取海报和文案。第二步： 分享完成后，截图点击链接https://www.wjx.top/jq/79372993.aspx 上传分享截图；符合要求的截图即可算作分享成功1次，获得500码豆，最高可获2500码豆！码豆奖励会在活动结束后15个工作日内发放3）幸运奖抽奖规则&奖励：（1）全通关可参与抽取：荣耀小哨兵智能摄像机 广角版、华为手环跑步精灵3e手环、荣耀智能体脂秤2；（2）活动结束后5个工作日内公示通关名单，并在微信群中统一抽奖。中奖名单公布后，用户需单独提供收件信息，奖品将于15个工作日内发放。为避免无法发放码豆，从未登录过会员中心的用户需提前登陆下DevCloud会员中心本次活动发放的码豆有效期至2020年9月1日  请务必按照以下格式要求进行回帖，否则无法计算奖励：华为云账号名：XXX（即右上角的字母数字组合ID）微信昵称：XXX实践感想：XXX实践截图：至少包含(a)实例详情截图需包含右上角华为云账号、(b)代码截图、(c)运行结果截图三张截图。示例如下： 附各关卡快速入口：第1关任务：基于API网关的电话号码归属地查询第2关任务：使用函数工作流服务为图片打水印第3关任务：使用Redis实现排行榜功能第4关任务：使用DMS Kafka优化消费者poll第5关任务：使用CPTS进行电商网站性能测试第6关任务：基于ServiceStage的天气预报应用部署