- 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周...
- 背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从v0.1到了v0.3.0;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行可配置爬虫(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自己搭建环境到Docker部署;从手动执行任务到定时任务;等等(详情见CHANGELO... 背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从v0.1到了v0.3.0;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行可配置爬虫(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自己搭建环境到Docker部署;从手动执行任务到定时任务;等等(详情见CHANGELO...
- 您将学习Java电商平台开发技能图谱,探秘双十一百万PV分享内容企业级Java开发技能图谱从宏观到微观,Java到底怎么学为了支撑双十一,我们对Java程序做了什么你将认识热爱分享的常乐君开源组织javagrowing成员、CSDN博客专家、华为云专家Thoughtworks咨询师,华东区Tech Lead5年Java开发经验,1年培训新人经验喜欢leetcode打野,偶尔出现在周赛前排年少... 您将学习Java电商平台开发技能图谱,探秘双十一百万PV分享内容企业级Java开发技能图谱从宏观到微观,Java到底怎么学为了支撑双十一,我们对Java程序做了什么你将认识热爱分享的常乐君开源组织javagrowing成员、CSDN博客专家、华为云专家Thoughtworks咨询师,华东区Tech Lead5年Java开发经验,1年培训新人经验喜欢leetcode打野,偶尔出现在周赛前排年少...
- 用户需要将分散在各个系统的数据统一处理,将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具,即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具,其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。 用户需要将分散在各个系统的数据统一处理,将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具,即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具,其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。
- 2020-10-29:使用redis实现分布式限流组件,要求高并发场景同一IP一分钟内只能访问100次,超过限制返回异常,写出实现思路或伪代码均可。福哥答案2020-10-29:简单回答:固定窗口:string。key存ip,value存次数。滑动窗口:list。key存ip,value=list,存每次访问的时间。中级回答:固定窗口:用redis的string进行存储,IP为key,val... 2020-10-29:使用redis实现分布式限流组件,要求高并发场景同一IP一分钟内只能访问100次,超过限制返回异常,写出实现思路或伪代码均可。福哥答案2020-10-29:简单回答:固定窗口:string。key存ip,value存次数。滑动窗口:list。key存ip,value=list,存每次访问的时间。中级回答:固定窗口:用redis的string进行存储,IP为key,val...
- 数据库分布式计划的主要特点在于执行算子在不同的节点(逻辑节点/物理节点)上执行,在保证最终执行结果正确性的前提下,如何更好的利用各节点资源是生成最优分布式计划以及性能调优均需面对的首要问题。 数据库分布式计划的主要特点在于执行算子在不同的节点(逻辑节点/物理节点)上执行,在保证最终执行结果正确性的前提下,如何更好的利用各节点资源是生成最优分布式计划以及性能调优均需面对的首要问题。
- 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周...
- 10 分钟快速入门云原生存储组件 Etcd ,掌握常见的概念及操作。 10 分钟快速入门云原生存储组件 Etcd ,掌握常见的概念及操作。
- 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章,笔者将会每周...
- 配置内外网不同网段IP访问Kafka集群 配置内外网不同网段IP访问Kafka集群
- 福哥答案2020-10-12:#福大大架构师每日一题#1.并发性。加锁解决。2.缺乏全局时钟。3.通信异常。引起数据丢失或者接收数据延迟的问题。4.网络分区,也叫脑裂。5.三态。成功和失败以外的第三种状态,叫超时态。6.节点故障。节点越多,发生故障的几率越大。7.cap不能同时满足。8.一致性问题。9.资源倾斜问题。忙的忙死,闲的闲死。10.扩容和缩容问题。11.分布式幂等性问题。12.se... 福哥答案2020-10-12:#福大大架构师每日一题#1.并发性。加锁解决。2.缺乏全局时钟。3.通信异常。引起数据丢失或者接收数据延迟的问题。4.网络分区,也叫脑裂。5.三态。成功和失败以外的第三种状态,叫超时态。6.节点故障。节点越多,发生故障的几率越大。7.cap不能同时满足。8.一致性问题。9.资源倾斜问题。忙的忙死,闲的闲死。10.扩容和缩容问题。11.分布式幂等性问题。12.se...
- 时间、窗口、状态、容错可以称为是flink的四大基石,本文将介绍下flink中的状态和容错。 本文会介绍flink状态的类型、状态后端、状态扩缩容、持久化、实现有状态算子以及结合max算子讲内置状态。 容错方面介绍基于jm、tm、rm三个组件上的组件级容错。 介绍分布式异步快照的实现以及如何做到at least once和exactly once、end to end exactly。 时间、窗口、状态、容错可以称为是flink的四大基石,本文将介绍下flink中的状态和容错。 本文会介绍flink状态的类型、状态后端、状态扩缩容、持久化、实现有状态算子以及结合max算子讲内置状态。 容错方面介绍基于jm、tm、rm三个组件上的组件级容错。 介绍分布式异步快照的实现以及如何做到at least once和exactly once、end to end exactly。
- 一个分布式系统是一组计算机系统一起工作,在终端用户看来,就像一台计算机在工作一样。 一个分布式系统是一组计算机系统一起工作,在终端用户看来,就像一台计算机在工作一样。
- 分布式计算是计算机科学中研究分布式系统的一个领域。分布式系统组件位于不同的联网计算机上,它们通过相互传递消息来进行通信和协调行动,组件之间相互作用以实现共同的目标。 分布式计算是计算机科学中研究分布式系统的一个领域。分布式系统组件位于不同的联网计算机上,它们通过相互传递消息来进行通信和协调行动,组件之间相互作用以实现共同的目标。
- 在华为分布式数据库的工程实践过程中,我们实现了一个计算存储分离、 底层存储基于Raft协议进行复制的分布式数据库系统原型。本文简单介绍一下Raft原理,以及存储节点(Pinetree)如何应用Raft实现复制的一些工程实践经验。 在华为分布式数据库的工程实践过程中,我们实现了一个计算存储分离、 底层存储基于Raft协议进行复制的分布式数据库系统原型。本文简单介绍一下Raft原理,以及存储节点(Pinetree)如何应用Raft实现复制的一些工程实践经验。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中
热门标签