- 文章目录 1、什么是限流？2、分布式限流有几种维度呢？3、分布式主流限流方案4、究其本质，限流算法底层4.1、令牌桶算法4.1.1、令牌生成4.1.2、令牌获取 4.2、漏桶算法4.2.1、... 文章目录 1、什么是限流？2、分布式限流有几种维度呢？3、分布式主流限流方案4、究其本质，限流算法底层4.1、令牌桶算法4.1.1、令牌生成4.1.2、令牌获取 4.2、漏桶算法4.2.1、...
- 1.并发程序 含有多个逻辑上的独立执行块，它们可以独立地并行执行，也可以串行执行。 2.并发 同一时间应对多件事的能力 3.并行 同一时间动手做多件事情的能力 4.并行架构 并行等同于多核，... 1.并发程序 含有多个逻辑上的独立执行块，它们可以独立地并行执行，也可以串行执行。 2.并发 同一时间应对多件事的能力 3.并行 同一时间动手做多件事情的能力 4.并行架构 并行等同于多核，...
- 前言 我们先思考下面几个业务场景的解决方案： 支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算 电商整点抢购，商品价格8点整开始优惠 12306购票系统，超过30分钟没有成功支付订单的，进行回收处理 商品成功发货后，需要向客户发送短信提醒 ❝ 类似的业务场景非常多... 前言 我们先思考下面几个业务场景的解决方案： 支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算 电商整点抢购，商品价格8点整开始优惠 12306购票系统，超过30分钟没有成功支付订单的，进行回收处理 商品成功发货后，需要向客户发送短信提醒 ❝ 类似的业务场景非常多...
- 简介： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的... 简介： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的...
- 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习... 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习...
- 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co... 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co...
- 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是... 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是...
- 背景： 随着社会的发展，经济的飞跃，传统的单系统模式（webApp+DB）已经很难满足业务场景的需要。企业系统开始不断演化成多个子系统并存协作的局面。大大降低了系统间的耦合性，更重要的便于子系统的扩展、升级、维护等。 谈到系统间的协作，目前常用两种方式： 1、基于Http协议 ... 背景： 随着社会的发展，经济的飞跃，传统的单系统模式（webApp+DB）已经很难满足业务场景的需要。企业系统开始不断演化成多个子系统并存协作的局面。大大降低了系统间的耦合性，更重要的便于子系统的扩展、升级、维护等。 谈到系统间的协作，目前常用两种方式： 1、基于Http协议 ...
- HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都... HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都...
- Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker... Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...
- 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法... 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法...
- 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档... 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档...
- 工程师和科学家们面临着用更少的时间建立复杂系统模型的需求，他们使用分布式和并行计算来解决高性能计算的问题。这些分布式的环境由多处理器和多核计算机来实现。 并行计算工具箱和Matlab分布式计算服务器允许你在Matlab中建模和开发分布式和并行应用，并在多核处理器和多核计算机中执行他们，而且并不离开你的及时开发环境。用这... 工程师和科学家们面临着用更少的时间建立复杂系统模型的需求，他们使用分布式和并行计算来解决高性能计算的问题。这些分布式的环境由多处理器和多核计算机来实现。 并行计算工具箱和Matlab分布式计算服务器允许你在Matlab中建模和开发分布式和并行应用，并在多核处理器和多核计算机中执行他们，而且并不离开你的及时开发环境。用这...
- 本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念，早在 2004 年就被 Google 发布，经过十多年的发展，... 本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念，早在 2004 年就被 Google 发布，经过十多年的发展，...
- 分布式计算第四章 RMI 1.定义 RPC (Remote Procedure Call):远程方法调用，用于一个进程调用另一个进程中的过程，从而提供了过程的分布能力。 RMI（Remote Method Invocation):远程方法调用，即在RPC的基础上有向前迈进了一步，提供分布式对象间的通讯。允许运行在一个java 虚拟... 分布式计算第四章 RMI 1.定义 RPC (Remote Procedure Call):远程方法调用，用于一个进程调用另一个进程中的过程，从而提供了过程的分布能力。 RMI（Remote Method Invocation):远程方法调用，即在RPC的基础上有向前迈进了一步，提供分布式对象间的通讯。允许运行在一个java 虚拟...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签