- Gossip背景在分布式系统中，不同的节点进行数据/信息共享是一个基本的需求。一种比较简单粗暴的方法就是集中式发散消息，简单来说就是一个主节点同时共享最新消息给其他所有节点，比较依赖中心化系统，不过过于依赖中心节点，存在单点风险。于是分散式发散消息的Gossip协议诞生Gossip协议简介Gossip直译即流言蜚语的意思，比喻容易传播且传播速度快。Gossip协议具有随机传播特性，这是Gos... Gossip背景在分布式系统中，不同的节点进行数据/信息共享是一个基本的需求。一种比较简单粗暴的方法就是集中式发散消息，简单来说就是一个主节点同时共享最新消息给其他所有节点，比较依赖中心化系统，不过过于依赖中心节点，存在单点风险。于是分散式发散消息的Gossip协议诞生Gossip协议简介Gossip直译即流言蜚语的意思，比喻容易传播且传播速度快。Gossip协议具有随机传播特性，这是Gos...
- Base理论base是Basically Available（基本可用） 、Soft-state(软状态） 和 Eventually Consistent(最终一致性） 三个短语的缩写。BASE理论是对CAP中一致性C和可用性A权衡的结果，其来源于对大规模互联网系统分布式实践的总结，是基于CAP定理逐步演化而来的，它大大降低了他们对系统的要求。Base理论的核心思想即使无法做到强一致性，但每... Base理论base是Basically Available（基本可用） 、Soft-state(软状态） 和 Eventually Consistent(最终一致性） 三个短语的缩写。BASE理论是对CAP中一致性C和可用性A权衡的结果，其来源于对大规模互联网系统分布式实践的总结，是基于CAP定理逐步演化而来的，它大大降低了他们对系统的要求。Base理论的核心思想即使无法做到强一致性，但每...
- CAP 也就是 Consistency（一致性）、Availability（可用性）、Partition Tolerance（分区容错性） 这三个单词首字母组合。一致性（Consistency）：所有节点访问同一份最新的数据副本可用性（Availability）：非故障的节点在合理的时间内返回合理的响应（不是错误或者超时的响应）分区容错性（Partition Tolerance）：分布式系统... CAP 也就是 Consistency（一致性）、Availability（可用性）、Partition Tolerance（分区容错性） 这三个单词首字母组合。一致性（Consistency）：所有节点访问同一份最新的数据副本可用性（Availability）：非故障的节点在合理的时间内返回合理的响应（不是错误或者超时的响应）分区容错性（Partition Tolerance）：分布式系统...
- 1 简介：微内核架构微内核架构是指内核的一种精简形式，将通常与内核集成在一起的系统服务层被分离出来，变成可以根据需求加入选，达到系统的可扩展性、更好地适应环境要求，我们看看有哪些例子？微内核：内核管理着所有的系统资源，在微内核中用户服务和内核服务在不同的地址空间中实现。该结构是向最初并非设计为支持它的系统添加特定功能的最佳方式。此体系结构消除了对应用程序可以具有的功能数量的限制。我们可以添... 1 简介：微内核架构微内核架构是指内核的一种精简形式，将通常与内核集成在一起的系统服务层被分离出来，变成可以根据需求加入选，达到系统的可扩展性、更好地适应环境要求，我们看看有哪些例子？微内核：内核管理着所有的系统资源，在微内核中用户服务和内核服务在不同的地址空间中实现。该结构是向最初并非设计为支持它的系统添加特定功能的最佳方式。此体系结构消除了对应用程序可以具有的功能数量的限制。我们可以添...
- 在数字化时代，随着业务需求的快速增长和技术架构的不断演进，微服务架构因其灵活性、可伸缩性和高内聚低耦合等特点，逐渐成为企业构建复杂应用系统的首选。然而，微服务架构的碎片化、动态性和复杂性也给系统的稳定性、安全性和性能带来了前所未有的挑战。在这一背景下，微服务监控作为保障系统稳定运行的最后一道防线，显得尤为重要。一、微服务监控的重要性微服务监控是指对微服务架构中的各个服务进行实时、全面的性能、... 在数字化时代，随着业务需求的快速增长和技术架构的不断演进，微服务架构因其灵活性、可伸缩性和高内聚低耦合等特点，逐渐成为企业构建复杂应用系统的首选。然而，微服务架构的碎片化、动态性和复杂性也给系统的稳定性、安全性和性能带来了前所未有的挑战。在这一背景下，微服务监控作为保障系统稳定运行的最后一道防线，显得尤为重要。一、微服务监控的重要性微服务监控是指对微服务架构中的各个服务进行实时、全面的性能、...
- 常见的消息队列有哪些？Kafkakafka是LinkedIn开源的一个一个分布式流式处理平台流式处理平台的三个关键功能消息队列：发布合订阅消息流，类似消息队列容错的持久方式存储记录消息流：kafka会把消息持久化到硬盘，避免丢失风险流式处理平台：Kafka提供了完整的流式处理类库Kafka是一个分布式系统，由通过TCP网络协议进行通信的服务器和客户端组成。Kafka2.8之前，中毒依赖于Zo... 常见的消息队列有哪些？Kafkakafka是LinkedIn开源的一个一个分布式流式处理平台流式处理平台的三个关键功能消息队列：发布合订阅消息流，类似消息队列容错的持久方式存储记录消息流：kafka会把消息持久化到硬盘，避免丢失风险流式处理平台：Kafka提供了完整的流式处理类库Kafka是一个分布式系统，由通过TCP网络协议进行通信的服务器和客户端组成。Kafka2.8之前，中毒依赖于Zo...
- 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 添加图片注释，不超过 140 字（可选）推荐阅读最全的AIGC百科全书资料AIGC和AI绘画最全资料文档https://yv4kfv1n3j.... 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 郑重声明本文档长期更新，请加入收藏夹或者收藏栏教学AI绘画 AIGC工具 SD教程 添加图片注释，不超过 140 字（可选）推荐阅读最全的AIGC百科全书资料AIGC和AI绘画最全资料文档https://yv4kfv1n3j....
- 上述已经讲了一些分库分表的基础概念和一些特点。下面主要讲一下分库分表的一些推荐方案分库分表以后可能产生的问题开篇讲过，不建议分库分表，但是数据量达到一定量时，为了依旧能有较好的性能体验，分库分表是个不错的选择，但是分库分表以后可能会产生什问题呢，这个是平时项目开发不得不面对的问题。join连接无法使用：对于分库的情况，join无法使用，之前在一个库，但是多个库就无法使用了。 就需要使用业务处... 上述已经讲了一些分库分表的基础概念和一些特点。下面主要讲一下分库分表的一些推荐方案分库分表以后可能产生的问题开篇讲过，不建议分库分表，但是数据量达到一定量时，为了依旧能有较好的性能体验，分库分表是个不错的选择，但是分库分表以后可能会产生什问题呢，这个是平时项目开发不得不面对的问题。join连接无法使用：对于分库的情况，join无法使用，之前在一个库，但是多个库就无法使用了。 就需要使用业务处...
- 随着互联网的发展，网站的应用也不断扩大，从而导致系统架构不断的进行变化，从互联网早起到现在，系统架构大致经历了下面几个过程。 单体应用架构所有功能都集中在一个应用中，统一开发、部署、维护。优点：开发成本、部署成本、维护成本低缺点：对于大型项目来说，项目模块紧密耦合、单点容错率低、无法针对某一个模块优化和水平扩展。 垂直应用架构将之前的单体应用拆分成多个应用，提升效率。比如，电商系统可以拆分成... 随着互联网的发展，网站的应用也不断扩大，从而导致系统架构不断的进行变化，从互联网早起到现在，系统架构大致经历了下面几个过程。 单体应用架构所有功能都集中在一个应用中，统一开发、部署、维护。优点：开发成本、部署成本、维护成本低缺点：对于大型项目来说，项目模块紧密耦合、单点容错率低、无法针对某一个模块优化和水平扩展。 垂直应用架构将之前的单体应用拆分成多个应用，提升效率。比如，电商系统可以拆分成...
- 本文详细探讨了同步通讯和异步通讯在信息传递中的区别，以及它们分别带来的优势和不足。通过对支付流程的案例分析，突显了同步通讯可能面临的阻塞和服务依赖问题，而异步通讯通过引入事件驱动模式和消息代理（Broker）成功解决了这些挑战，实现了服务解耦、性能提升和流量削峰。然而，异步通讯也并非没有考验，对消息代理可靠性的依赖和系统架构的复杂性都是需要仔细权衡的因素。 本文详细探讨了同步通讯和异步通讯在信息传递中的区别，以及它们分别带来的优势和不足。通过对支付流程的案例分析，突显了同步通讯可能面临的阻塞和服务依赖问题，而异步通讯通过引入事件驱动模式和消息代理（Broker）成功解决了这些挑战，实现了服务解耦、性能提升和流量削峰。然而，异步通讯也并非没有考验，对消息代理可靠性的依赖和系统架构的复杂性都是需要仔细权衡的因素。
- Snowflake是一种分布式ID生成器，它的设计目标是在分布式系统中生成全局唯一的ID。Snowflake的设计具有一些独特的特征，这些特征使它成为一个流行的分布式ID生成器。本文将会详细介绍Snowflake的基本特征，以便读者更好地了解这一技术。 1. 关于Snowflake在介绍Snowflake的基本特征之前，先简要介绍一下Snowflake的工作原理。Snowflake生成的ID... Snowflake是一种分布式ID生成器，它的设计目标是在分布式系统中生成全局唯一的ID。Snowflake的设计具有一些独特的特征，这些特征使它成为一个流行的分布式ID生成器。本文将会详细介绍Snowflake的基本特征，以便读者更好地了解这一技术。 1. 关于Snowflake在介绍Snowflake的基本特征之前，先简要介绍一下Snowflake的工作原理。Snowflake生成的ID...
- Snowflake是一种流行的分布式ID生成器，它在分布式系统中生成全局唯一的ID。Snowflake的设计采用了一种简单而有效的架构，以确保高性能、高可用性和可扩展性。本文将详细介绍Snowflake的架构，使读者能够深入了解该技术的内部工作原理。 1. Snowflake的组成部分在介绍Snowflake的架构之前，先了解一下Snowflake的组成部分。Snowflake生成的ID是6... Snowflake是一种流行的分布式ID生成器，它在分布式系统中生成全局唯一的ID。Snowflake的设计采用了一种简单而有效的架构，以确保高性能、高可用性和可扩展性。本文将详细介绍Snowflake的架构，使读者能够深入了解该技术的内部工作原理。 1. Snowflake的组成部分在介绍Snowflake的架构之前，先了解一下Snowflake的组成部分。Snowflake生成的ID是6...
- 导言LightGBM是一种高效的梯度提升决策树算法，通过并行化和分布式训练，可以加速模型训练过程，特别是在处理大规模数据集时。本教程将详细介绍如何在Python中使用LightGBM进行并行化和分布式训练，并提供相应的代码示例。 并行化训练LightGBM支持多线程和多进程的并行化训练，可以利用多核CPU来加速模型训练。以下是一个简单的示例，演示如何使用多线程进行并行化训练：import ... 导言LightGBM是一种高效的梯度提升决策树算法，通过并行化和分布式训练，可以加速模型训练过程，特别是在处理大规模数据集时。本教程将详细介绍如何在Python中使用LightGBM进行并行化和分布式训练，并提供相应的代码示例。 并行化训练LightGBM支持多线程和多进程的并行化训练，可以利用多核CPU来加速模型训练。以下是一个简单的示例，演示如何使用多线程进行并行化训练：import ...
- Elasticsearch常用于以下场景： 日志分析和监控：Elasticsearch可以收集、存储和分析大量服务器日志数据，帮助您监控系统性能和查找故障。 搜索引擎：Elasticsearch可以构建高性能的搜索引擎，用于查询大量文档、网页和其他数据。 商业智能和数据分析：Elasticsearch可以用于处理和分析大量实时数据，以帮助企业做出更明智的决策。 安全性... Elasticsearch常用于以下场景： 日志分析和监控：Elasticsearch可以收集、存储和分析大量服务器日志数据，帮助您监控系统性能和查找故障。 搜索引擎：Elasticsearch可以构建高性能的搜索引擎，用于查询大量文档、网页和其他数据。 商业智能和数据分析：Elasticsearch可以用于处理和分析大量实时数据，以帮助企业做出更明智的决策。 安全性...
- 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h... 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签