• [热门活动] 有人开发者活动恶意投机刷帖拿奖
    活动链接【中奖名单公示】///【体验有礼】华为开发者空间五一大放送!免费体验新技术,完成案例实践,赢华为无线耳机、手环、云宝手办等多重好礼!第4页_开发者空间_华为云论坛这个人华为云昵称为user_beifeng的有涉嫌投机,破坏活动公平性,严重破坏活动秩序,他利用活动规则活动二【实践互动】中奖小妙招:案例完成数最多的前三名,将100%获得奖励!,恶意连续发布多个案例,每个案例只选取一部分体验截图。首先他帖子发布时间从2025-05-15 22:15:12到2025-05-15 23:27:31,连续发布从11.基于云主机部署Python电商项目到38.开发者空间里玩转MySQL之事务与锁的28个案例,就是说不到一个半小时发布28个,这个时间要是每个案例都完整体验根本不可能完成,平均不到3分钟发布一篇案例,包括编辑帖子时间以及中间切换页面间隔,要么他是提前完成并记录,最后统一批量发布,那还合理;要么他是投机在2025年5月15号即活动的最后一天晚上的一个半小时连续发布多个帖子。截图里面打开个终端可能怕别人盗图吧,1.37.开发者空间里玩转MySQL之存储过程与触发器里面创建的一个事件手册上说是5分钟后执行,他截图显示Execute at :事件计划执行的时间,这里是2025-05-15 23:30:27,就是说他事件是2025-05=15 23.25左右创建,他11点25创建的事件,11点26分就发布帖子了,真够急的;2、他PyTho案例的体验里面33.Python高阶:看,那里有个BUG - 异常32.Python高阶:三个神器 - 迭代器、生成器与装饰器23点04发的帖子,右下角最近的运行会话[23:04] 23点03发的帖子,右下角最近的运行会话[23:02] 31. Python高阶:站在巨人的肩膀上 - Numpy、Pandas、Matplotlib、Requests 23点01发的帖子,右下角最近的运行会话[23:01]而且都是17.py这个文件夹;而且仓颉案例体验里面你都只改一个主文件,运行就交是吧,别的都没有变过,项目工程里面别的文件名是一模一样,玫瑰粉案例结构根部不一样,把21. 仓颉 – C跨语言编程实现控制台小游戏的工程结构一直用到30.仓颉之泛型和扩展的神奇天地是吧,(game_app文件很明显是项目的)根本不可能,有的缺少文件会报错好吧,你选个主文件随便一运行就当体验了是吧;报错了把终端隐藏了,虚啥呀;还有别的项目都是类似问题,赶着活动结束最后一天晚上1个半小时就搞定了28多个案例体验,忙不忙,换来换去,我都替你累,为了卷第一何必呢,都想你这样,几个小时不到那直接华为云案例中心直接全部做一遍了,你这样还拿奖了,那别人咋办啊。
  • [互动交流] 日期选取
    怎么利用控件读取excel里面的日期并勾选进日期的框框中(没有办法直接输入),excel里面日期的格式还不一样不能手动调整(2022/02/02or2022-02-02)
  • HCDG城市行·深圳站|千模应用加速器“模力营”AI研讨会 圆满收官!
      5月23日,千模应用加速器“模力营”AI研讨会在深圳天安云谷成功举办。本次活动由华为云HCDG深圳核心组邱道勇发起,30余位AI领域开发者齐聚一堂,活动围绕AI千模应用展开深入讨论,共谋AI大模型的应用与发展。  深圳HCDG核心组、深天使AI产业加速营导师邱道勇先生致辞分享:面对DeepSeek掀起的AI民主化浪潮,我们以硬科技突破为核心,联动AI企业,通过开放创新与产业链协同,强化企业核心竞争力。  之后,围绕“国产算力加速AI千模应用”,华为云技术专家分享了华为云在AI大模型和数字化转型的成功实践和技术积累。基于ModelArts平台面向不同使用场景,提供适用的昇腾云服务模式,充分释放昇腾算力潜能,满足算力快速训推与部署需求,并与企业开发者们深度探讨了昇腾云和DeepSeek Maas API调用等开发和开放能力。  华为云商店优秀伙伴【深圳伊登】开发者代表温宇恒分享了“基于华为云AI技术开发eCopilot企业智能服务解决方案”。依托华为云AI算力与弹性扩展能力,伊登成功将传统软件系统升级为智能化解决方案,客户交付效率提升40%,这一模式为行业提供了可复用的技术范式。  最后,华为云DTSE技术专家孙昊在活动中,带领大家在华为开发者空间中演示了《基于仓颉编程语言+DeepSeek实现智能聊天助手》的案例,此案例主要是基于仓颉语言来进行编程,并对接华为云MaaS平台,成功的对接到基于昇腾训练的DeepSeek大模型,实现了智能聊天助手的功能。在这个案例的实操中,更多的开发者了解到了仓颉、华为云MaaS,以及体验到华为开发者空间的便利性。  随后又带领大家在华为开发者空间中演示了《基于开发者空间Notebook进行LoRA微调Whisper_base实现语音识别》的案例,此案例主要是基于在开发者空间Notebook中,通过使用免费的昇腾GPU算力,进行LoRA微调Whisper_base,实现语音识别功能。  集中讨论环节,与会企业围绕“AI+工业”“AI+服务”等议题展开深度讨论,华为云技术专家针对企业提出的模型优化、数据安全等痛点问题给予现场解答。  本次活动感谢深圳天使母基金、大湾区人工智能数字产业联盟、深圳市天使投资协会协助组织,参会开发者来自深圳得理科技有限公司、深圳无境创新科技有限公司、深圳壹智云科技有限公司、极爱人工智能科技有限公司等30家企业。研讨会是“技术生态链计划”的重要一环,未来将持续通过深入学习、技术工作坊、技术创新、商业对接等形式,构建全周期服务体系,推动更多AI创新成果走向市场。  HCDG(Huawei Cloud Developer Group 华为云开发者社区组织),是基于城市圈和技术圈,由开发者核心组自发开展的开放、创新、多元的社区技术交流组织。致力于帮助开发者学习提升、互动交流、挖掘合作,推动技术应用与本地产业结合、数智化转型和开发者文化发展。
  • [HCSD校园沙龙] 聚焦产教融合新生态,德州科技职业学院华为云开发者创新中心揭牌仪式暨HCSD校园沙龙成功举办!
            为加强校企合作,促进教育与产业的深度融合,5月29日,德州科技职业学院华为云开发者创新中心揭牌仪式暨HCSD校园沙龙成功举办!本次活动由华为云计算技术有限公司主办,德州科技职业学院承办,吸引了来自全校的500余名学生参与,为众师生带来了一场知识与思想碰撞的盛宴,现场气氛热烈。活动现场        活动伊始,德州科技职业学院院长王昭风发表致辞,强调了校企合作对人才培养的重要性,学校也一直致力于培养适应时代需求的创新型人才,此次活动旨在让同学们深入了解鸿蒙技术的前沿动态,提升专业技能,为未来的职业发展打下坚实的基础。同时,他也期待未来能与华为云开展更多维度的合作,共同推动教育事业的发展。德州科技职业学院院长 王昭风        接下来,华为云山东生态发展与运营部部长王雄彬,德州科技职业学院党委书记、省政府驻德科教育督导专员刘继泉在众师生的见证下,为华为云开发者创新中心揭牌,标志着校企双方已正式搭建产学研平台,拉开深度校企合作、协同育人的新篇章。揭牌仪式        随后,华为云山东生态发展与运营部部长王雄彬在会上发表致辞,他强调华为始终重视与高校的深度合作,鸿蒙生态的发展需要大量的高素质开发人才,并鼓励同学们要明确目标,努力提升自身技术能力,在未来的职业道路上成为前沿技术的引领者,为行业发展贡献力量。我们也希望通过此类活动,加强与学校的沟通与交流,助力高校培养面向未来的更多的高质量应用创新型人才。华为云山东生态发展与运营部部长 王雄彬        紧接着,禹城市人民政府党组成员、副市长孙登敬在讲话中表示,政府高度重视校企合作以及新兴技术的发展,德州科技职业学院与华为云的合作,是优势互补、强强联合的生动实践,必将为禹城的教育事业注入新的活力。政府也大力支持此类活动,鼓励学校与华为云加强合作,培养更多适应时代需求的高素质人才,为地方经济建设注入新动力。禹城市人民政府党组成员、副市长 孙登敬        HCSD,即华为云学生开发者计划,是由校园大使为代表的校园开发者组织,旨在帮助高校师生在华为云领域进行学习和创新。活动现场,华为云山东教育行业总经理戴金洪为宋锦智、战世铖两名优秀学生颁发“HCSD校园大使”荣誉证书,旨在通过榜样力量激励更多同学加入华为云技术学习与实践的行列。华为云校园大使颁发证书        主题演讲环节,华为云开发者人才培养产品运营经理陈明为大家带来了“推进产教融合走向深水区,助力高校创新实践人才培养”议题分享。他结合人工智能与物联网发展历程和行业现状,向同学们介绍了当前行业的发展趋势与人才需求。此外,陈老师详细介绍了华为云在鸿蒙、人工智能等产品领域的人才解决方案,通过校园沙龙活动、大赛、华为云开发者认证等方式,开展多彩校园学习实践活动,激发学生学习兴趣,提升学生职业技能,助力学生成长为具有创新精神和实践能力的时代新人。华为云开发者人才培养产品运营经理 陈明        接下来,华为云高校生态运营布道师钱爱义以“鸿蒙,打开校园开发新方式”为主题,向师生详细讲解了HarmonyOS是一款面向万物互联时代的、全新的分布式操作系统,并深入解析了HarmonyOS的三大核心特性:硬件互助,资源共享;一次开发,多端部署;统一OS,弹性部署。钱老师还通过丰富的案例,展示了鸿蒙系统在智能家居、智慧出行、运动健康等领域的实际应用,让同学们直观感受到了鸿蒙技术给生活和工作带来的便捷与创新,激发了同学们对鸿蒙开发的浓厚兴趣。华为云高校生态运营布道师 钱爱义        训练营环节,钱爱义老师详细介绍聚焦云上应用设计、构建和运维打造的系统化华为云开发者认证,可以帮助开发者基于华为云服务及工具进行开发、实践、应用构建,真正让开发者懂开发、会开发,做全能开发者,助力开发者职业成功。这些证书不仅是对学生专业技能的认可,还能为未来就业增加竞争力。活动现场特别设置了HarmonyOS分布式协同办公应用开发微认证专场活动,旨在进一步提升学生们的鸿蒙应用开发的能力。活动现场         一直以来,华为云在数字人才培养的沃土上持续耕耘,加速全栈创新,为开发者提供实际技术支持。未来,基于华为云生态体系,华为云将加大投入,为校园开发者提供丰富的开发工具,搭建学习、交流、分享、实践的平台,孵化开发者人才生态圈,向数字产业输送更多优秀人才,为推动中国数字经济的发展贡献力量。
  • [分享交流] 开发者布道师保级和晋级公告
    开发者布道师保级和晋级公告 尊敬的各位开发者布道师:华为开发者布道师计划自24年6月正式发布以来,在大家共同努力下已发展一年,感谢各位积极参与和贡献。我们将从25年6月份开始,根据每位开发者布道师初次认证的时间,以一个自然年为周期,启动开发者布道师身份的年度认证(含保级和晋级),相关的规则和流程如下:1. 保级规则以华为开发者布道师官网公示的晋级机制对应的等级为标准,结合开发者布道师运营平台累计的布道贡献、布道活动等数据来评估年度贡献是否达到当前等级的要求。如果年度贡献满足当前等级的要求,系统将自动完成保级的评估,并重新生成新的开发者布道师证书,含电子证书和实体证书,证书有效期更新成新认证日期之后的一个自然年,我们将以书面的方式通知您年度认证的结果。如果年度贡献暂达不到当前等级的要求,将从当前等级向下调整,如果当前等级是银牌,将调整为“预备开发者布道师”。预备开发者布道师将取消开发者布道师证书且不在官网呈现,但仍保留查看自己布道师个人主页数据的权限,也继续保留开发者布道师的各项权益。如果本年度内贡献达到了开发者布道师相应等级的要求,可以重新提交认证申请,将根据实际贡献满足度匹配到对应的开发者布道师等级,并重新颁发开发者布道师证书。我们将以书面的方式通知您年度认证的结果。对部分例外情况,比如因布道师未在系统中申报过任何贡献或活动导致系统中缺失数据而无法评估是否满足保级条件的,运营工作人员将联系您确认,并请您补充提供当前等级的贡献举证材料,满足条件将自动获得保级,反之则参照年度贡献暂不达标来操作。2. 晋级规则对年度贡献超出现有等级要求并达到更高级别要求时,开发者布道师可自主在华为开发者布道师官网的布道师个人主页的晋级申报入口提交晋级申请。系统将结合晋级标准、举证材料和运营平台数据来评估。通过晋级评估后,系统重新生成新的开发者布道师证书,含电子证书和实体证书,证书有效期更新成新认证日期之后的一个自然年,我们将以书面的方式通知您年度认证的结果。开发者布道师可在认证周期满一个自然年之后两周内提交晋级申报。若在晋级申报期间未提交晋级申报,视为放弃本年度布道师等级晋级,将参照保级规则处理。如有任何疑问或异议,可以通过devrel@huawei.com邮箱或微信联系我们,我们将及时处理。感谢大家的理解与支持,让我们共同努力,推动开发者布道师社区的持续发展和壮大!开发者布道师运营团队2025年8月4日
  • DeepSeek-R1-0528 已全新发布,完全不输Claude 4!
    DeepSeek-R1于2025年5月29日在huggingface、modelscope开源了最新的DeepSeek-R1-0528这次根据官方说法,是小范围升级,目前实测来看,知识库更新到2025年3月,而且在某些任务下DeepSeek-R1的思考时间可能有30-60分钟livecodebench排行榜分数也不错华为云也即将上线新版本DeepSeek-R1-0528模型,大家可以在升级后去体验最新的模型!
  • 【话题交流】谈谈大家对存储方面的知识知多少
    本月话题:谈谈大家对存储方面的知识知多少你是否想过,手机里珍藏的旅行照片、电脑里熬夜完成的工作文档,都藏在一个怎样的 “数字仓库” 里?有人以为硬盘越大就像房子越大,能装下更多东西;有人好奇为什么删除的文件还能被恢复;也有人疑惑,云盘究竟是把数据存到了天上还是地下?其实,从机械硬盘的 “磁头起舞” 到固态硬盘的 “闪存魔法”,从 MB 到 TB 的容量单位换算,再到 RAID 阵列的冗余保护,计算机存储的世界远比想象中更精妙。这就像在数字王国里搭建一个巨型图书馆,每一本书的存放位置、检索方式,甚至防盗备份,都藏着大学问。你,准备好探索这座数字宝库的奥秘了吗?目前,随着IT技术的不断发展,知识的不断更新迭代,大家讨论讨论说说看看大家谈谈大家对存储方面的知识知多少!
  • 【合集】存储服务2025.05月技术干货合集
    云质量标准cid:link_5扩散模型与Transformer架构的结合cid:link_0扩散模型的训练提升模型的泛化能力cid:link_6扩散模型在非图像领域应用中关键技术突破cid:link_1扩散模型与高分辨率图像生成cid:link_7扩散模型在隐私保护与对抗攻击场景下的风险及鲁棒性增强技术cid:link_8如何通过改进采样策略来降低扩散模型的推理时间成本cid:link_9Redis集群的脑裂cid:link_10带你走进华为云 ​CodeArts​​ 平台的CI/CDcid:link_2记录STM32F103RCT6外部中断EXTI0无法触发问题cid:link_11常见的STM32项目接多传感器供电异常处理方法cid:link_12STM32读取DHT11失败常见的主要原因分析cid:link_13STM32通过ESP8266发送数据到APP延迟过大系统性优化方案分享cid:link_3基于Redission实现一个延迟队列的实践cid:link_14走进Redis的渐进式Rehashcid:link_15什么是Redisson 的看门狗机cid:link_16RedLock分布式锁算法cid:link_4Redisson 实现的分布式锁相对于 SETNX 的核心优势对比cid:link_17YOLO与Transformer的结合cid:link_18
  • YOLO与Transformer的结合
    YOLO与Transformer的结合通过​​引入全局建模能力​​和​​多尺度特征交互机制​​,有效缓解了CNN的局部感受野限制,同时通过​​架构优化​​和​​注意力机制改进​​降低了对大规模数据预训练的依赖。以下是具体分析:​​一、YOLO与Transformer结合的核心方法​​​​1. 骨干网络(Backbone)替换​​​​Swin Transformer替代CNN​​:如YOLOv5+Swin Transformer,利用其层次化窗口自注意力机制,扩大感受野并捕捉长距离依赖。​​CNN-Swin混合模块​​:CST-YOLO提出CNN-Swin Transformer(CST),通过并行卷积与Swin Transformer的交互,增强局部细节与全局上下文的融合。​​2. 特征融合(Neck)增强​​​​动态注意力融合​​:如RFAG-YOLO引入感受野注意力(RFN模块),通过动态调整卷积核权重,增强对细粒度局部特征的捕捉。​​多尺度特征交互​​:YOLOv12采用R-ELAN模块,结合残差连接和门控机制,优化多尺度特征聚合。​​3. 检测头(Head)优化​​​​Transformer解码器替代Anchor-Based预测​​:如DETR-style Head,通过自注意力机制直接预测目标框,减少对人工设计组件(如锚框)的依赖。​​区域注意力机制​​:YOLOv12提出Area Attention(A2),将特征图分块处理,在保持计算效率的同时扩大感受野。​​二、如何解决CNN的局部感受野限制?​​​​1. 全局建模能力​​​​自注意力机制​​:Transformer的自注意力可建模任意位置间的关系,突破CNN的局部卷积限制。例如,Swin Transformer通过窗口移动机制,实现全局信息的渐进式建模。​​长距离依赖捕获​​:如YOLOv12的FlashAttention模块,通过优化内存访问效率,支持长序列建模。​​2. 多尺度特征融合​​​​层次化特征提取​​:CST-YOLO通过多尺度通道分割(MCS)模块,结合不同感受野的特征图,增强对小目标和复杂背景的适应性。​​动态特征聚合​​:RFAG-YOLO的尺度感知特征融合(SAF)模块,利用注意力机制动态加权不同层级的特征。​​3. 局部与全局的平衡​​​​卷积-注意力混合设计​​:如Mamba-YOLO的SimVSS Block,结合SSM和残差卷积,既保留局部细节又增强全局建模。​​分阶段特征交互​​:YOLOv12的ODSSBlock通过选择性扫描(SS2D)和门控机制,平衡局部与全局信息。​​三、性能提升是否依赖大规模数据预训练?​​​​1. 依赖大规模预训练的场景​​​​纯Transformer架构​​:如DETR、YOLO-Former等完全依赖自注意力的模型,需大规模数据(如COCO)预训练以学习全局关系。​​复杂注意力机制​​:如YOLOv12的A2模块,需大量数据优化注意力权重分配。​​2. 降低数据依赖的优化策略​​​​CNN-Transformer混合设计​​:CST-YOLO通过CNN提取局部特征,仅对Transformer部分进行小规模微调,减少预训练需求。​​轻量化注意力机制​​:Mamba-YOLO的SSM模块具有线性计算复杂度,无需大规模数据即可收敛。​​架构级优化​​:YOLOv12通过R-ELAN和FlashAttention减少训练难度,支持小数据集上的快速收敛。​​3. 典型案例对比​​​​模型​​​​数据需求​​​​性能提升关键​​YOLOv5+Swin需预训练(COCO)Swin的全局建模能力CST-YOLO小规模微调(医学图像)CNN-Swin混合结构 + 多尺度特征融合YOLOv12无需大规模预训练注意力中心设计 + 架构优化Mamba-YOLO低数据需求(<10k样本)SSM的线性复杂度 + 残差卷积​​四、总结与趋势​​​​局部感受野的突破​​:通过Transformer的自注意力机制和混合架构设计,YOLO系列在保持局部细节的同时增强全局建模能力。​​数据效率提升​​:混合架构(CNN+Transformer)和轻量化注意力模块(如SSM)显著降低对大规模预训练的依赖,推动模型在垂直领域(如医学、无人机)的应用。​​未来方向​​:​​动态稀疏注意力​​:进一步降低计算复杂度(如YOLOv12的Area Attention)。​​自监督预训练​​:结合对比学习等自监督方法,减少对标注数据的依赖。​​多模态扩展​​:将Transformer的跨模态能力与YOLO结合,拓展至视频、3D检测等场景。通过上述改进,YOLO与Transformer的结合在精度与效率之间实现了更好的平衡,成为实时目标检测领域的重要技术路径。
  • Redisson 实现的分布式锁相对于 SETNX 的核心优势对比
    Redisson 实现的分布式锁相对于 SETNX 的核心优势在于​​原子性保障、功能扩展性、可靠性及开发友好性​​。以下是具体对比分析:​​一、核心优势对比​​​​特性​​​​SETNX 实现​​​​Redisson 实现​​​​优势说明​​​​原子性操作​​需组合 SETNX + EXPIRE 命令,非原子性操作通过 Lua 脚本实现加锁、续期、释放锁的原子性避免竞态条件(如锁超时后业务未完成导致锁失效)^1,6​​自动续期(看门狗)​​需手动实现后台线程续期内置看门狗机制,自动延长锁有效期(默认 30 秒续期至 30 秒)防止长事务因锁超时导致的并发问题^3,4​​可重入性​​需自行维护线程标识和计数器默认支持可重入锁,通过 Hash 结构记录线程 ID 和重入次数支持递归调用或嵌套锁场景^2,5​​锁释放安全性​​需通过 Lua 脚本校验锁标识,否则可能误删其他线程的锁自动校验锁持有者身份,仅允许持有者释放锁避免误删锁引发的并发问题^6,8​​高可用性​​单节点 Redis 存在单点故障风险支持 RedLock 算法(多节点集群)和哨兵模式提升锁服务的容灾能力(@ref)​​开发复杂度​​需手动实现锁续期、可重入、异常处理等逻辑提供 RLock 接口和丰富 API(如 tryLock、lockInterruptibly)简化代码,降低维护成本^3,7​​二、Redisson 的核心优势解析​​​​1. 原子性保障​​​​Lua 脚本封装​​:Redisson 将加锁、续期、释放锁等操作封装为原子性 Lua 脚本,避免多命令组合的非原子风险。-- 加锁 Lua 脚本(简化版)if redis.call('hexists', KEYS[1], ARGV[1]) == 0 then redis.call('hincrby', KEYS[1], ARGV[1], 1) redis.call('pexpire', KEYS[1], ARGV[2]) return nilelse redis.call('pexpire', KEYS[1], ARGV[2]) return 0end该脚本确保​​判断锁状态、更新计数器、设置过期时间​​的原子性^6,8。​​2. 自动续期机制​​​​看门狗线程​​:后台线程定期检查锁的剩余存活时间,若小于阈值(如 10 秒),则通过 EXPIRE 命令续期。​​动态调整​​:续期间隔根据锁的剩余时间动态计算,避免频繁续期带来的性能损耗^3,4。​​3. 可重入性支持​​​​数据结构​​:使用 Redis Hash 存储锁标识(如 lockName: { "threadId": 重入次数 })。​​重入逻辑​​:同一线程再次获取锁时,直接增加计数器,无需重新竞争锁^2,5。​​4. 高可用方案​​​​RedLock 算法​​:通过多个独立 Redis 实例实现分布式锁,需超过半数节点成功加锁。​​哨兵模式​​:自动切换故障节点,保障锁服务的高可用性(@ref)。​​5. 丰富的锁类型​​​​公平锁​​:按请求顺序分配锁,避免饥饿现象。​​联锁(MultiLock)​​:同时锁定多个锁,保证原子性。​​红锁(RedLock)​​:基于多节点集群的强一致性锁^7,9。​​三、适用场景对比​​​​场景​​​​SETNX 适用性​​​​Redisson 适用性​​简单库存扣减✅ 适合(短时操作,无需复杂功能)✅ 适合(但需自行处理续期)长事务处理(>30 秒)❌ 高风险(需手动续期)✅ 推荐(自动续期保障)递归调用或嵌套锁❌ 需自行实现可重入逻辑✅ 原生支持高并发读写锁分离❌ 需自行实现读写锁逻辑✅ 提供 RReadWriteLock多节点集群环境❌ 需自行实现 RedLock✅ 原生支持 RedLock 和哨兵模式​​四、性能对比​​​​单节点模式​​:SETNX 方案 TPS 约 ​​35,000 次/秒​​(轻量级操作)。Redisson 方案 TPS 约 ​​28,000 次/秒​​(因 Hash 操作和后台线程开销)(@ref)。​​集群模式​​:Redisson 的 RedLock 在高可用场景下性能更优,且支持动态扩缩容。​​五、总结:为何选择 Redisson?​​​​开发效率​​:提供完整 API 和自动续期、可重入等高级功能,减少编码复杂度。​​可靠性​​:通过原子性操作和看门狗机制规避单点故障和锁超时风险。​​扩展性​​:支持公平锁、联锁、红锁等复杂场景,适应企业级需求。​​社区支持​​:Redis 官方推荐方案,生态完善,问题修复及时。​​适用建议​​:若业务简单且对性能敏感(如秒杀库存),可优化 SETNX 实现。若涉及长事务、可重入性或高可用需求,优先选择 Redisson。
  • RedLock分布式锁算法
    ​​1. 什么是 RedLock?​​RedLock 是 Redis 官方提出的一种​​分布式锁算法​​,由 Redis 作者 Salvatore Sanfilippo(Antirez)设计,旨在解决单点 Redis 实例作为分布式锁时的​​单点故障问题​​。其核心思想是通过​​多节点投票机制​​实现锁的强一致性:​​多节点加锁​​:客户端需在多个独立 Redis 实例(通常为奇数个,如 5 个)上同时尝试获取锁。​​多数派确认​​:只有当超过半数节点(如 5 个节点中的 3 个)成功加锁时,才认为锁获取成功。​​容错性​​:即使部分节点故障,只要多数节点存活,锁服务仍可用。​​2. RedLock 解决了什么问题?​​RedLock 主要解决以下问题:​​单点故障​​:传统单节点 Redis 锁在主节点宕机时会导致锁失效,而 RedLock 通过多节点冗余避免这一问题。​​主从同步延迟​​:在 Redis 主从架构中,主节点加锁后若未同步到从节点即宕机,从节点晋升为主节点可能导致锁丢失。RedLock 通过多节点确认机制规避此风险。​​高可用性​​:即使部分节点故障,锁服务仍能继续运行。​​3. Redisson 中为何废弃 RedLock?​​尽管 RedLock 设计初衷良好,但存在以下关键问题,导致 Redisson 官方废弃:​​性能瓶颈​​​​网络延迟​​:需多次与多节点交互,加锁耗时增加,尤其在高延迟网络中表现更差。​​竞争开销​​:多数派机制要求等待多数节点响应,加锁成功率受网络和节点负载影响。​​并发安全性争议​​​​时钟依赖​​:RedLock 依赖系统时钟判断锁超时,若时钟发生跳跃(如 NTP 同步),可能导致锁提前释放。​​GC 停顿风险​​:客户端垃圾回收(GC)停顿可能导致锁超时,其他客户端获取锁后,原客户端误判锁仍有效,引发并发问题。​​实现复杂度高​​​​节点管理​​:需手动维护多个独立 Redis 实例,且需确保密钥分散在不同节点,增加运维成本。​​争议性设计​​:社区对 RedLock 的安全性存在分歧(如 Martin Kleppmann 与 Antirez 的争论),且无完美解决方案。​​替代方案更优​​​​ZooKeeper/etcd​​:基于强一致性的原生分布式锁实现,更适合高并发场景。​​Redis 集群 + 看门狗​​:通过 Redis 集群和自动续期机制(如 Redisson 的 Watch Dog)提升可靠性,简化实现。​​总结​​​​RedLock 核心价值​​:通过多节点投票机制解决单点故障问题,提升锁的可用性。​​废弃原因​​:性能、安全性争议及复杂度高,且已有更优替代方案(如 ZooKeeper、Redis 集群)。​​Redisson 的替代方案​​:推荐使用 RLock(基于单节点 + 看门狗)或集群化 Redis 实现分布式锁。
  • 什么是Redisson 的看门狗机
    Redisson 的​​看门狗机制(Watch Dog)​​是其分布式锁(如 RLock)的核心特性之一,用于解决​​锁自动过期导致业务未完成锁失效​​的问题。它通过后台线程动态延长锁的持有时间,确保业务逻辑执行期间锁不会意外释放。​​一、为什么需要看门狗机制?​​在分布式系统中,如果客户端获取锁后,业务逻辑执行时间超过了锁的预设过期时间(如 30 秒),锁会自动释放。此时其他客户端可能获取到锁,导致​​并发安全问题​​(如数据覆盖)。​​看门狗的作用​​:在锁即将过期时,自动续期(延长锁的过期时间),确保业务逻辑执行完成前锁始终有效。​​二、看门狗机制的核心原理​​​​1. 锁的初始设置​​当客户端通过 lock.lock() 获取锁时,Redisson 会执行以下 Redis 命令:SET lock_key unique_value NX EX 30NX:仅当键不存在时设置锁。EX 30:锁的初始过期时间为 30 秒。unique_value:唯一标识(如 UUID + 线程 ID),用于确保只有锁持有者能释放锁。​​2. 看门狗的触发​​​​续期条件​​:当锁的剩余存活时间小于等于 ​​看门狗的默认阈值(如 1/3 锁过期时间)​​ 时,触发续期。例如,锁初始过期时间为 30 秒,当剩余时间 ≤ 10 秒时,看门狗开始工作。​​续期频率​​:默认每隔 ​​1/3 锁过期时间​​ 续期一次(如 30 秒锁每隔 10 秒续期)。​​3. 续期操作​​看门狗会通过 Redis 的 EXPIRE 命令,将锁的过期时间​​重置为初始值​​(如再次设置为 30 秒)。EXPIRE lock_key 30​​续期次数无限制​​:只要锁未被释放,看门狗会持续续期。​​4. 锁释放​​当调用 lock.unlock() 时,Redisson 会通过 Lua 脚本验证 unique_value,确保只有锁持有者能释放锁:if redis.call('hexists', KEYS[1], ARGV[1]) == 1 then return redis.call('del', KEYS[1])else return 0end释放锁后,看门狗线程终止。​​三、看门狗的实现细节​​​​1. 看门狗线程​​Redisson 内部维护一个 ScheduledExecutorService 线程池,用于执行锁续期任务。每个锁对应一个独立的续期任务。​​2. 动态调整续期间隔​​续期间隔根据锁的初始过期时间动态计算。例如:初始过期时间 leaseTime = 30,000 ms。看门狗触发间隔为 leaseTime / 3(约 10 秒)。​​3. 续期逻辑伪代码​​class WatchDog extends Thread { private final RLock lock; private long leaseTime; // 初始过期时间(如30秒) private long lastRenewTime; public void run() { while (isLocked()) { long currentTime = System.currentTimeMillis(); // 检查是否需要续期(剩余时间 ≤ leaseTime / 3) if (currentTime - lastRenewTime >= leaseTime / 3) { renewLock(); // 调用 EXPIRE 命令续期 lastRenewTime = currentTime; } Thread.sleep(100); // 适当休眠避免频繁检查 } } private void renewLock() { // 发送 EXPIRE 命令重置锁过期时间 redis.expire(lockKey, leaseTime); }}​​四、看门狗的优缺点​​​​优点​​​​避免业务未完成锁失效​​:确保长耗时任务执行期间锁始终有效。​​无感知续期​​:开发者无需手动管理锁续期。​​高可靠性​​:通过唯一标识(unique_value)和 Lua 脚本保证原子性。​​缺点​​​​潜在性能开销​​:续期操作会增加 Redis 请求频率。​​客户端崩溃风险​​:如果客户端崩溃且未释放锁,看门狗会持续续期,导致锁永久占用(需依赖超时机制或手动干预)。​​五、配置与调优​​​​1. 自定义锁过期时间​​可以通过 lock.lock(leaseTime, timeUnit) 指定锁的初始过期时间:// 设置锁过期时间为 60 秒lock.lock(60, TimeUnit.SECONDS);​​2. 关闭看门狗​​不推荐关闭,但可通过设置 leaseTime 为 -1 禁用自动续期:// 锁永不自动续期(需手动释放)lock.lock(-1, TimeUnit.SECONDS);​​3. 调整续期间隔​​通过修改 Redisson 配置调整续期频率(需源码定制)。​​六、典型应用场景​​​​长事务处理​​:如订单支付、批量数据同步。​​微服务分布式锁​​:确保跨服务资源一致性。​​定时任务防并发​​:避免多个节点同时执行同一任务。​​七、总结​​Redisson 的看门狗机制通过​​动态续期​​解决了分布式锁因业务耗时过长导致的失效问题,其核心是:基于 Redis 的 EXPIRE 命令实现锁续期。通过后台线程监控锁状态并自动续期。结合唯一标识和 Lua 脚本保证安全性。​​使用建议​​:默认开启看门狗,合理设置锁的初始过期时间。在业务逻辑中确保及时释放锁(调用 unlock())。对于极高并发场景,可结合 Redisson 的看门狗日志监控性能开销。
  • 走进Redis的渐进式Rehash
    Redis 的渐进式 Rehash 是一种避免一次性大规模数据迁移导致服务阻塞的优化机制,主要用于哈希表(Hash Table)的扩容(rehash)和缩容操作。它的核心思想是将耗时的 rehash 过程分散到多次请求中逐步完成,从而保证 Redis 服务的响应性。​​一、为什么需要渐进式 Rehash?​​​​背景问题​​Redis 的哈希表(如字典 dict)是核心数据结构,当元素数量增加时,需要扩容(rehash)以减少哈希冲突;当元素减少时,需要缩容以节省内存。​​一次性 Rehash 的问题​​:如果哈希表非常大(例如百万级键值),一次性迁移所有键值会阻塞主线程,导致 Redis 服务暂停响应。​​渐进式 Rehash 的优势​​​​非阻塞​​:将 Rehash 分散到多次操作中,每次只迁移少量数据,避免长时间阻塞。​​平滑过渡​​:在 Rehash 期间,Redis 仍能正常处理读写请求,保证高可用性。​​二、Rehash 触发条件​​Redis 的哈希表(dict)会在以下情况触发 Rehash:​​扩容​​:当哈希表的负载因子(元素数量 / 哈希桶数量)超过 1(默认阈值)时,触发扩容(通常是翻倍)。​​缩容​​:当负载因子低于 0.1 时,触发缩容(通常是减半)。​​三、渐进式 Rehash 的过程​​​​1. 初始化阶段​​当需要 Rehash 时,Redis 会创建一个新的哈希表(ht[1]),大小为原哈希表(ht[0])的两倍(扩容)或一半(缩容)。设置 rehashidx = 0,表示从 ht[0] 的第一个桶开始迁移。​​2. 渐进式迁移​​​​每次操作附带迁移​​:在 Redis 执行命令(如 GET、SET、HGET 等)时,会顺带迁移 ht[0] 中的一部分数据到 ht[1]。​​迁移步骤​​:每次迁移一个哈希桶(bucket)中的所有键值对。例如,首次迁移 ht[0] 的第 0 号桶,第二次迁移第 1 号桶,依此类推。​​更新 rehashidx​​:每迁移完一个桶,rehashidx 递增,直到所有桶迁移完成(rehashidx == ht[0].size)。​​3. 完成 Rehash​​当所有桶迁移完成后,Redis 将 ht[1] 设为新的主哈希表(ht[0] = ht[1]),并释放旧的 ht[0]。此时,Rehash 结束。​​四、Rehash 期间的数据访问​​在渐进式 Rehash 过程中,Redis 需要同时处理旧表(ht[0])和新表(ht[1])的读写操作:​​查找操作​​:先在 ht[0] 的当前 rehashidx 范围内查找,如果未找到,则到 ht[1] 中查找。// 伪代码示例def get(key): if rehashing: idx = dict_rehashidx(d) bucket = &d->ht[0].table[idx] while (bucket->used > 0) { if (key matches) return value; bucket++; } // 如果旧表未找到,转向新表 return lookup_in_ht1(key); else: return lookup_in_ht0(key);​​写入操作​​:直接写入 ht[1],保证新数据不会丢失。​​删除操作​​:需同时在 ht[0] 和 ht[1] 中删除(如果存在)。​​五、关键细节​​​​Rehash 索引 (rehashidx)​​记录当前迁移进度,初始为 0,完成时为 ht[0].size。可通过 INFO keyspace 命令查看 rehashidx 的值(例如 dict_rehashidx:0 表示正在 Rehash)。​​强制触发 Rehash​​可以通过 SHUTDOWN SAVE 或 CONFIG SET active-defrag yes 强制触发 Rehash,但需谨慎使用。​​性能影响​​渐进式 Rehash 会略微增加每个请求的处理时间(因为需要同时处理迁移),但避免了阻塞。在极端情况下(如海量数据),Rehash 可能持续较长时间,但整体影响可控。​​六、示例流程​​假设 ht[0] 有 4 个桶,需要扩容到 8 个桶:初始化 ht[1](8 个桶),设置 rehashidx = 0。处理第一个请求时,迁移 ht[0] 的第 0 号桶。处理第二个请求时,迁移 ht[0] 的第 1 号桶。重复上述步骤,直到 rehashidx = 4,表示迁移完成。释放 ht[0],ht[1] 成为主表。​​七、总结​​​​渐进式 Rehash​​ 是 Redis 为避免大规模数据迁移导致阻塞而设计的优化机制。​​核心过程​​:分批次迁移哈希桶,每次操作附带迁移一部分数据。​​优点​​:保证服务不中断,适用于高并发场景。​​代价​​:迁移期间每个操作略微变慢,但整体性能影响可接受。通过这种设计,Redis 在保证高性能的同时,能够安全地处理哈希表的动态扩缩容。
  • 基于Redission实现一个延迟队列的实践
    基于 Redisson 实现延迟队列可以利用其内置的 RDelayedQueue 组件。以下是详细实现步骤和代码示例:​​1. 核心原理​​Redisson 的延迟队列基于 Redis 的有序集合(Sorted Set)和发布订阅(Pub/Sub)机制实现:​​有序集合​​:存储延迟元素,以到期时间作为分数(score)。​​后台线程​​:定期轮询有序集合,将到期元素转移到普通队列。​​消费者​​:从普通队列中获取到期的消息。​​2. 实现步骤​​​​2.1 添加依赖​​在 Maven 项目中添加 Redisson 依赖:<dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.21.0</version> <!-- 使用最新版本 --></dependency>​​2.2 配置 Redisson 客户端​​import org.redisson.Redisson;import org.redisson.config.Config;public class RedissonConfig { public static RedissonClient getClient() { Config config = new Config(); config.useSingleServer().setAddress("redis://127.0.0.1:6379"); return Redisson.create(config); }}​​2.3 创建延迟队列​​import org.redisson.api.RBlockingQueue;import org.redisson.api.RDelayedQueue;import org.redisson.api.RedissonClient;public class DelayQueueExample { public static void main(String[] args) { RedissonClient redisson = RedissonConfig.getClient(); // 普通阻塞队列(用于存放到期消息) RBlockingQueue<String> destinationQueue = redisson.getBlockingQueue("delayedQueue"); // 延迟队列(绑定普通队列和延迟时间) RDelayedQueue<String> delayedQueue = new RDelayedQueue<>(redisson.getQueue("delayedQueue"), destinationQueue, 0, TimeUnit.SECONDS); // 生产者:发送延迟消息 new Thread(() -> { try { delayedQueue.offer("Order123", 10, TimeUnit.SECONDS); // 10秒后到期 System.out.println("Message sent with 10s delay"); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }).start(); // 消费者:从目标队列获取到期消息 new Thread(() -> { while (true) { try { String message = destinationQueue.take(); System.out.println("Received: " + message); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } }).start(); }}​​3. 关键参数说明​​​​offer(element, delay, timeUnit)​​将元素加入延迟队列,delay 表示延迟时间,timeUnit 是时间单位(如秒、毫秒)。​​take()​​阻塞式获取到期消息,若队列为空则等待。​​4. 高级用法​​​​4.1 自定义消息对象​​public class OrderMessage implements Serializable { private String orderId; private long expireTime; // getters/setters}// 生产者发送RDelayedQueue<OrderMessage> delayedQueue = ...;delayedQueue.offer(new OrderMessage("Order123", System.currentTimeMillis() + 10_000), 0, TimeUnit.SECONDS);// 消费者解析OrderMessage msg = destinationQueue.take();​​4.2 多消费者并发处理​​// 使用线程池消费ExecutorService executor = Executors.newFixedThreadPool(4);for (int i = 0; i < 4; i++) { executor.submit(() -> { while (true) { String message = destinationQueue.take(); processMessage(message); } });}​​5. 注意事项​​​​可靠性保证​​Redisson 内部通过定时任务轮询有序集合,确保消息到期后转移到目标队列。若 Redis 宕机,需结合持久化机制(如 RDB/AOF)保证数据不丢失。​​性能优化​​避免在消费者中使用阻塞操作,防止线程耗尽。对于海量消息,建议使用 RPriorityQueue 或结合 RocketMQ 等专业消息队列。​​超时时间精度​​Redisson 默认的轮询间隔是 5 秒,因此延迟时间精度为 ±5 秒。可通过修改配置调整:Config config = new Config();config.useSingleServer().setAddress("redis://127.0.0.1:6379");config.setScanInterval(2000); // 轮询间隔设为2秒(默认5秒)​​6. 完整流程图​​生产者调用 delayedQueue.offer(message, delay) → 元素存入 Redis Sorted Set(以到期时间作为 score) → Redisson 后台线程定期扫描 Sorted Set → 到期元素被移动到普通队列(destinationQueue) → 消费者通过 destinationQueue.take() 获取消息通过以上步骤,你可以快速实现一个高可用的延迟队列。如果需要更复杂的调度(如动态调整延迟时间),可以结合 Lua 脚本或 Redis 的 ZREMRANGEBYSCORE 命令自行扩展。
  • 2025年5月存储服务技术干货及问题答疑合集
    技术干货dd 命令测试磁盘读写速度cid:link_5Linux中dns解析软件cid:link_6Linux快速挂载数据盘cid:link_0Linux 系统运行级别(runlevel)cid:link_7WARNING: The script xxxxx is installed in '/home/service/.local/bin' which is not on PATH.解决方案cid:link_8ARG DEBIAN_FRONTEND用途详解cid:link_9aria2c 下载资源高级用法cid:link_10curl --resolve 的用法cid:link_11查看 Ubuntu 系统的版本方法cid:link_12nvmlDeviceGetNvLinkRemoteDeviceType符号未定义解决方法cid:link_1apt install 和 apt-get 区别cid:link_2llama-cli运行报错,缺少libllama.so解决方案cid:link_13Ollama模型处理性能统计全解析cid:link_14元学习详解cid:link_3胶囊神经网络解析cid:link_4gradio缺少frpc_linux_amd64_v0.3文件处理方法cid:link_15问题答疑问: 前端obs上传 callbackurl答:cid:link_16 上传回调的具体用法,参考此文档:目前只在POST上传对象、PUT上传对象以及多段操作中的合并段API中支持回调功能。在对象上传成功之后才会回调特定服务器,如果对象上传失败则不会回调。回调成功,返回回调结果给客户端,同时将上传对象的Etag以头域返回,当回调结果也包含Etag时,将对Etag拼接后返回。回调失败,返回203,表示对象上传成功但是回调失败。如果上传的图片大小超过25M,则无法通过imageInfo相关魔法变量获取图片基本信息,会导致回调失败。
总条数:2055 到第 页
上滑加载中