- 一. zookeeper引言简介Apache ZooKeeper是Apache软件基金会的一个开源分布式软件项目，大数据集群服务器的管理者协调者。简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统ZNode 文件系统：保存少量，服务器相关的配置文件信息。Watcher 监听通知机制：注册监听服务器的上下线以及配置信息变更。特点全局数据一致性：当客户端（cl... 一. zookeeper引言简介Apache ZooKeeper是Apache软件基金会的一个开源分布式软件项目，大数据集群服务器的管理者协调者。简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统ZNode 文件系统：保存少量，服务器相关的配置文件信息。Watcher 监听通知机制：注册监听服务器的上下线以及配置信息变更。特点全局数据一致性：当客户端（cl...
- 随着数据隐私保护需求的增加，联邦学习（Federated Learning）作为一种分布式机器学习方法，受到了越来越多的关注。联邦学习允许多方在不共享原始数据的情况下共同训练模型，充分保护了数据隐私。然而，联邦学习在实际应用中面临计算资源和效率的问题，因此，优化分布式深度学习模型的并行计算显得尤为重要。本文将详细介绍联邦学习中的分布式深度学习模型并行计算优化方法，通过实例和代码进行解释。 Ⅰ... 随着数据隐私保护需求的增加，联邦学习（Federated Learning）作为一种分布式机器学习方法，受到了越来越多的关注。联邦学习允许多方在不共享原始数据的情况下共同训练模型，充分保护了数据隐私。然而，联邦学习在实际应用中面临计算资源和效率的问题，因此，优化分布式深度学习模型的并行计算显得尤为重要。本文将详细介绍联邦学习中的分布式深度学习模型并行计算优化方法，通过实例和代码进行解释。 Ⅰ...
- 分布式缓存 分布式缓存出于如下考虑:首先是缓存本身的水平线性扩展问题，其次是缓存大并发下本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。 分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，然后是缓存键值管理和路由。 Memcached 是一个高性能的分布式内存对象缓存系统，用于动... 分布式缓存 分布式缓存出于如下考虑:首先是缓存本身的水平线性扩展问题，其次是缓存大并发下本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。 分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，然后是缓存键值管理和路由。 Memcached 是一个高性能的分布式内存对象缓存系统，用于动...
- 一、目录服务（ZooKeeper）分布式系统是一个由很多进程组成的整体，这个整体中每个成员部分，都会具备一些状态，比如负载情况，对某些数据的掌握等等。而这些和其他进程相关的数据，在故障恢复、扩容缩容的时候变得非常重要。简单的分布式系统，可以通过静态的配置文件来记录这些数据：进程之间的连接对应关系，它们的IP地址和端口等等。然而，一个自动化程度高的分布式系统，必然要求这些状态数据都是动态保存... 一、目录服务（ZooKeeper）分布式系统是一个由很多进程组成的整体，这个整体中每个成员部分，都会具备一些状态，比如负载情况，对某些数据的掌握等等。而这些和其他进程相关的数据，在故障恢复、扩容缩容的时候变得非常重要。简单的分布式系统，可以通过静态的配置文件来记录这些数据：进程之间的连接对应关系，它们的IP地址和端口等等。然而，一个自动化程度高的分布式系统，必然要求这些状态数据都是动态保存...
- 一、承载量是分布式系统存在的原因当一个互联网业务获得大众欢迎的时候，最显著碰到的技术问题，就是服务器非常繁忙。当每天有1000万个用户访问你的网站时，无论你使用什么样的服务器硬件，都不可能只用一台机器就承载的了。因此，在互联网程序员解决服务器端问题的时候，必须要考虑如何使用多台服务器，为同一种互联网应用提供服务，这就是所谓“分布式系统”的来源。然而，大量用户访问同一个互联网业务，所造成的问... 一、承载量是分布式系统存在的原因当一个互联网业务获得大众欢迎的时候，最显著碰到的技术问题，就是服务器非常繁忙。当每天有1000万个用户访问你的网站时，无论你使用什么样的服务器硬件，都不可能只用一台机器就承载的了。因此，在互联网程序员解决服务器端问题的时候，必须要考虑如何使用多台服务器，为同一种互联网应用提供服务，这就是所谓“分布式系统”的来源。然而，大量用户访问同一个互联网业务，所造成的问...
- LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南 LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
- 【好用的个人工具】部署Dokcer容器速查表工具 【好用的个人工具】部署Dokcer容器速查表工具
- 1 数据处理中的概率由于python在计算领域是高度精确的，因此有大量的数据处理库用于人工智能，日常处理等等。仅仅是开源在python中就有大量的库用于处理，比如opencv，matplotlib，numpy，pandas，也有直接提供界面UI交互的seaborn框架。常用的工具包括 python 和 R 语言都提供了完整的支持。数据处理离不开概率，在很多场合都可能用到，比如python内... 1 数据处理中的概率由于python在计算领域是高度精确的，因此有大量的数据处理库用于人工智能，日常处理等等。仅仅是开源在python中就有大量的库用于处理，比如opencv，matplotlib，numpy，pandas，也有直接提供界面UI交互的seaborn框架。常用的工具包括 python 和 R 语言都提供了完整的支持。数据处理离不开概率，在很多场合都可能用到，比如python内...
- 3 简介存储和使用数据只能使用sql阵营的吗？答案是否定的。 4 概念mongodb 是2009发布的 一个全新的通用平台类. 它就是开发者最想要的数据库。充分利用关系模型的优点和 NoSQL数据库。 启用mongodb 几乎可以满足任何类别的客户需求的现代应用。它包括以下功能。应用服务 应用领域的服务 MongoDB 图形 驱动 --- 适配器数据功能 Mo... 3 简介存储和使用数据只能使用sql阵营的吗？答案是否定的。 4 概念mongodb 是2009发布的 一个全新的通用平台类. 它就是开发者最想要的数据库。充分利用关系模型的优点和 NoSQL数据库。 启用mongodb 几乎可以满足任何类别的客户需求的现代应用。它包括以下功能。应用服务 应用领域的服务 MongoDB 图形 驱动 --- 适配器数据功能 Mo...
- 1 简介C++自1979年首次实现带有类的C以来，已经存在了40年。从了解它的发展历程中去了解语言的发展。现在其C++ 的语法已经非常复杂。其发展路径具有重要的参考意义，特别是像go，rust这样的类似的语言。Rust从C++中学到了内存安全的重要性，Zig从C中选择了更细分的内存分配，Go则带上“指针”和“垃圾收集”两件法宝自成一派。而其C++26已经在规划之中…也就是 2026年将要发... 1 简介C++自1979年首次实现带有类的C以来，已经存在了40年。从了解它的发展历程中去了解语言的发展。现在其C++ 的语法已经非常复杂。其发展路径具有重要的参考意义，特别是像go，rust这样的类似的语言。Rust从C++中学到了内存安全的重要性，Zig从C中选择了更细分的内存分配，Go则带上“指针”和“垃圾收集”两件法宝自成一派。而其C++26已经在规划之中…也就是 2026年将要发...
- 1 实际中的面向对象虽然现实场景往往比预想的要复杂得多。但是由于面向对象提供易理解可重用，可维护性，使代码更易于其他开发人员理解和维护，面向对象方法正变得越来越流行。 那么如何实践该方法？即使如此要成功实践该方法并不是一件容易的事情，这里先简单介绍执行的步骤，然后通过一个时钟的案例说明如何在实际场景匹配面向对象的特性。最后强调命名对重用和维护的重要性，并提供三种命名方式，并简单说明OO的优... 1 实际中的面向对象虽然现实场景往往比预想的要复杂得多。但是由于面向对象提供易理解可重用，可维护性，使代码更易于其他开发人员理解和维护，面向对象方法正变得越来越流行。 那么如何实践该方法？即使如此要成功实践该方法并不是一件容易的事情，这里先简单介绍执行的步骤，然后通过一个时钟的案例说明如何在实际场景匹配面向对象的特性。最后强调命名对重用和维护的重要性，并提供三种命名方式，并简单说明OO的优...
- 1 简介通常在一个应用中，也很难有固定的分层。软件体系结构为软件系统提供了结构、行为和属性的高级抽象，在使用时可能随着时间推移分层越来越多，这些抽象和分层由构成系统的元素描述、这些元素的相互作用、指导元素集成的模式以及这些模式的约束组成。而软件层次式体系结构是最通用的架构，也被叫作N层架构模式(n-tier architecture pattern)。这种架构模式非常适合传统的IT通信和组... 1 简介通常在一个应用中，也很难有固定的分层。软件体系结构为软件系统提供了结构、行为和属性的高级抽象，在使用时可能随着时间推移分层越来越多，这些抽象和分层由构成系统的元素描述、这些元素的相互作用、指导元素集成的模式以及这些模式的约束组成。而软件层次式体系结构是最通用的架构，也被叫作N层架构模式(n-tier architecture pattern)。这种架构模式非常适合传统的IT通信和组...
- 设计不只是外表和感觉，它更是产品如何运作。 在计算机编程中，面向对象方法编程将在相当长的一段时间内占据重要位置。---乔布斯 1 简介我们知道现实世界的对象是什么：我们可以感知、感觉和操纵的有形事物。人类最早接触的对象通常是玩具。木块、塑料形状和超大拼图是常见的第一对象。并且很快学会某些物体做某些事情：铃铛响起，按下按钮，拉动杠杆。软件开发中对象的定义并没有太大的不同。软件对象可能不是... 设计不只是外表和感觉，它更是产品如何运作。 在计算机编程中，面向对象方法编程将在相当长的一段时间内占据重要位置。---乔布斯 1 简介我们知道现实世界的对象是什么：我们可以感知、感觉和操纵的有形事物。人类最早接触的对象通常是玩具。木块、塑料形状和超大拼图是常见的第一对象。并且很快学会某些物体做某些事情：铃铛响起，按下按钮，拉动杠杆。软件开发中对象的定义并没有太大的不同。软件对象可能不是...
- 简介事件驱动架构模式是一种主流的异步分发事件架构模式，常用于设计高度可拓展的应用。当然了，它有很高的适应性，使得它在小型应用、大型应用、复杂应用中都能表现得很好，我们看看有哪些区别？该模式具有高度适应性的分布式异步体系结构，此模式最适合具有高可伸缩性的小型到大型应用程序。由于事件处理器组件在此模式中彼此隔离，因此可以在不影响其他组件性能的情况下对组件进行更改。此模式有两个主要结构：** 中... 简介事件驱动架构模式是一种主流的异步分发事件架构模式，常用于设计高度可拓展的应用。当然了，它有很高的适应性，使得它在小型应用、大型应用、复杂应用中都能表现得很好，我们看看有哪些区别？该模式具有高度适应性的分布式异步体系结构，此模式最适合具有高可伸缩性的小型到大型应用程序。由于事件处理器组件在此模式中彼此隔离，因此可以在不影响其他组件性能的情况下对组件进行更改。此模式有两个主要结构：** 中...
- 冰河在多年的编程工作中，对使用过的正则表达式进行了梳理和总结，这些正则表达式能够帮助你节省很多的编码时间，往往一个简单的正则表达式就能够省略大量的`if...else...`代码。 冰河在多年的编程工作中，对使用过的正则表达式进行了梳理和总结，这些正则表达式能够帮助你节省很多的编码时间，往往一个简单的正则表达式就能够省略大量的`if...else...`代码。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签