- 分布式存储 分布式存储
- 引言：一个常见的"不一致"难题在日常开发中，我们经常会遇到这样一个场景：用户下单后，需要扣减库存并发送一条消息通知物流系统。代码写起来很简单——先操作数据库，再发送 MQ 消息。但问题来了：如果数据库操作成功后，发送消息时网络超时了怎么办？如果消息发送成功了，但数据库事务最终回滚了呢？这种 DB 与 MQ 消息不一致 的问题，是分布式系统中"数据一致性"挑战最直观的体现。本文将从这一实际问题... 引言：一个常见的"不一致"难题在日常开发中，我们经常会遇到这样一个场景：用户下单后，需要扣减库存并发送一条消息通知物流系统。代码写起来很简单——先操作数据库，再发送 MQ 消息。但问题来了：如果数据库操作成功后，发送消息时网络超时了怎么办？如果消息发送成功了，但数据库事务最终回滚了呢？这种 DB 与 MQ 消息不一致 的问题，是分布式系统中"数据一致性"挑战最直观的体现。本文将从这一实际问题...
- 训练深度学习模型，早期很多人是在单张显卡上完成的。数据不算太大，模型也不算太深，跑一晚上往往就有结果。后来模型越来越大，数据越来越多，一张卡的显存和算力很快成为瓶颈。有人换更贵的卡，有人开始把任务拆到多张卡、多台机器上。这就是分布式训练要解决的问题：怎么让多份计算资源一起干活，又尽量少地互相拖后腿。这篇文章用比较直白的方式，聊聊分布式训练在做什么、常见怎么拆、以及实际用起来会遇到什么。 为什... 训练深度学习模型，早期很多人是在单张显卡上完成的。数据不算太大，模型也不算太深，跑一晚上往往就有结果。后来模型越来越大，数据越来越多，一张卡的显存和算力很快成为瓶颈。有人换更贵的卡，有人开始把任务拆到多张卡、多台机器上。这就是分布式训练要解决的问题：怎么让多份计算资源一起干活，又尽量少地互相拖后腿。这篇文章用比较直白的方式，聊聊分布式训练在做什么、常见怎么拆、以及实际用起来会遇到什么。 为什...
- 嵌入表分片与哈希管理：支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示：在推荐系统中，大部分ID的原始特征都是离散型（global ids），因为其取值空间巨大且稀疏（如用户ID或物品ID可能达到百万甚至亿级别），直接作为输入会导致嵌入表维度爆炸，引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号（hash indices），从而压缩特征空间，实现高效存储和查询。Ha... 嵌入表分片与哈希管理：支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示：在推荐系统中，大部分ID的原始特征都是离散型（global ids），因为其取值空间巨大且稀疏（如用户ID或物品ID可能达到百万甚至亿级别），直接作为输入会导致嵌入表维度爆炸，引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号（hash indices），从而压缩特征空间，实现高效存储和查询。Ha...
- 深度解析GaussDB分布式分布键：设计核心与实践指南在分布式数据库体系中，数据如何在多个节点间高效分布、协同工作，是决定系统性能、扩展性与稳定性的关键。GaussDB作为企业级分布式关系型数据库，通过“分布键”这一核心技术，实现了数据的合理分片与均衡存储，为大规模数据处理和高并发访问提供了坚实支撑。本文将从分布键的核心定义出发，逐步拆解其作用价值、常见类型、设计原则及实操案例，帮助大家全... 深度解析GaussDB分布式分布键：设计核心与实践指南在分布式数据库体系中，数据如何在多个节点间高效分布、协同工作，是决定系统性能、扩展性与稳定性的关键。GaussDB作为企业级分布式关系型数据库，通过“分布键”这一核心技术，实现了数据的合理分片与均衡存储，为大规模数据处理和高并发访问提供了坚实支撑。本文将从分布键的核心定义出发，逐步拆解其作用价值、常见类型、设计原则及实操案例，帮助大家全...
- GaussDB集中式与分布式在选择GaussDB数据库时，很多技术决策者都会陷入一个关键困惑：到底该选集中式还是分布式？两者看似都能支撑业务，但在架构设计、性能表现、运维成本和适用场景上存在本质差异。选对了，数据库能成为业务增长的"助推器"；选错了，可能会面临性能瓶颈、扩容困难甚至重构风险。本文将从核心架构出发，多维度解析GaussDB集中式与分布式的区别，并给出明确的选型指南。 一、先搞... GaussDB集中式与分布式在选择GaussDB数据库时，很多技术决策者都会陷入一个关键困惑：到底该选集中式还是分布式？两者看似都能支撑业务，但在架构设计、性能表现、运维成本和适用场景上存在本质差异。选对了，数据库能成为业务增长的"助推器"；选错了，可能会面临性能瓶颈、扩容困难甚至重构风险。本文将从核心架构出发，多维度解析GaussDB集中式与分布式的区别，并给出明确的选型指南。 一、先搞...
- 基于真实电商场景，深入解析微服务架构设计。涵盖Nacos服务治理、Ribbon负载均衡、分布式缓存等核心技术，剖析单体到分布式的演进逻辑。从架构演变到组件选型，从服务拆分到性能调优，讲解分布式系统设计中的常见问题与解决方案。 基于真实电商场景，深入解析微服务架构设计。涵盖Nacos服务治理、Ribbon负载均衡、分布式缓存等核心技术，剖析单体到分布式的演进逻辑。从架构演变到组件选型，从服务拆分到性能调优，讲解分布式系统设计中的常见问题与解决方案。
- 文章目录 1. 负载均衡算法2. 熔断和降级2.1 熔断2.2 降级 3. 幂等4. 分布式事务5. 分布式锁6. 分布式主键id7. 池化技术 1. 负载均衡算法 随机访问策略。 系... 文章目录 1. 负载均衡算法2. 熔断和降级2.1 熔断2.2 降级 3. 幂等4. 分布式事务5. 分布式锁6. 分布式主键id7. 池化技术 1. 负载均衡算法 随机访问策略。 系...
- 一、分布式锁 1.分布式锁的原理 分布式锁或者本地锁的本质其实是一样的，都是将并行的操作转换为了串行的操作 2.分布式锁的常用解决方案 2.1 数据库 可以利用MySQL隔离性：唯一... 一、分布式锁 1.分布式锁的原理 分布式锁或者本地锁的本质其实是一样的，都是将并行的操作转换为了串行的操作 2.分布式锁的常用解决方案 2.1 数据库 可以利用MySQL隔离性：唯一...
- >>回到总目录<< 文章目录 分布式数据库的体系结构 练习题 分布式数据库的特点 分布式数据库的透明... >>回到总目录<< 文章目录 分布式数据库的体系结构 练习题 分布式数据库的特点 分布式数据库的透明...
- 目录 文章目录 目录前言区块链区块链的关键技术区块链与隐私计算区块链与安全多方计算结合区块链与联邦学习结合 前言 本文摘自以下文献，为个人学习笔记摘抄： 《基于模型准确率的链上去中... 目录 文章目录 目录前言区块链区块链的关键技术区块链与隐私计算区块链与安全多方计算结合区块链与联邦学习结合 前言 本文摘自以下文献，为个人学习笔记摘抄： 《基于模型准确率的链上去中...
- 作者：@lxchinesszz 本文为作者原创，转载请注明出处 小编最近在做微服务架构的工程，工程是由之前公司的人搭建起来的，说直白就是理论架构，一个业务拆分多个子任务模块，部署在不同的服务器上，通过http协议进行通信，之所以这样其中主要原因是因为，项目开发中用到了不同的语言，对于大多数供销商使用node开发，对于支... 作者：@lxchinesszz 本文为作者原创，转载请注明出处 小编最近在做微服务架构的工程，工程是由之前公司的人搭建起来的，说直白就是理论架构，一个业务拆分多个子任务模块，部署在不同的服务器上，通过http协议进行通信，之所以这样其中主要原因是因为，项目开发中用到了不同的语言，对于大多数供销商使用node开发，对于支...
- Elastic-Job是一个分布式定时任务框架,其内部的定时主要是利用quartz来实现,而Elastic-Job核心是对quartz进行了封装,并提供了分布式任务的功能。具体是怎么实现呢? 怎... Elastic-Job是一个分布式定时任务框架,其内部的定时主要是利用quartz来实现,而Elastic-Job核心是对quartz进行了封装,并提供了分布式任务的功能。具体是怎么实现呢? 怎...
- 通过本篇的阅读你将学会了解Elastic-Job的定时时机,及如何通过分片方式做一个分布式的定时任务框架。了解常用的三种分片策略，及如何自定义分布式分片策略 目录 Elastic-Job... 通过本篇的阅读你将学会了解Elastic-Job的定时时机,及如何通过分片方式做一个分布式的定时任务框架。了解常用的三种分片策略，及如何自定义分布式分片策略 目录 Elastic-Job...
- 作者: 西魏陶渊明 博客: https://blog.springlearn.cn/ (opens new window) 西魏陶渊明 在单机环境下多线程操作共享数据时候回用到锁的概念,因为是单机可以直接使用jdk提供的锁机制就可以满足。 但是在微服务场景下,因为是... 作者: 西魏陶渊明 博客: https://blog.springlearn.cn/ (opens new window) 西魏陶渊明 在单机环境下多线程操作共享数据时候回用到锁的概念,因为是单机可以直接使用jdk提供的锁机制就可以满足。 但是在微服务场景下,因为是...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签