分布式_标签_开发者_华为云

博客(2.3k)
视频(6)
论坛(0)
云声(0)
代码示例(0)

Scrapy可视化管理管理工具总结
本文总结了与Scrapy框架相关的一些开源工具 1、scrapyd 项目地址：https://github.com/scrapy/scrapyd 文档： https://scrapyd.readthedocs.io/ Scrapyd 是一个运行 Scrapy 爬虫程序的服务 pip install scrapyd scrapyd # 启动服务 123 环...

彭世瑜
发表于2021-08-14 00:03:12
5734 0 0

5.7k 0 0

本文总结了与Scrapy框架相关的一些开源工具 1、scrapyd 项目地址：https://github.com/scrapy/scrapyd 文档： https://scrapyd.readthedocs.io/ Scrapyd 是一个运行 Scrapy 爬虫程序的服务 pip install scrapyd scrapyd # 启动服务 123 环...
Python Scrapy 分布式
Python编程：managers模块分布式进程
managers模块可以把多进程分布到多台机器上依靠网络通信，一个服务进程可以作为调度者，将任务分布到其他多个进程中代码示例 # -*- coding: utf-8 -*- # @File : task_master.py # @Date : 2018-06-11 # @Author : Peng Shiyu # 思路：通过managers模块把Qu...

彭世瑜
发表于2021-08-13 23:25:36
3286 0 0

3.2k 0 0

managers模块可以把多进程分布到多台机器上依靠网络通信，一个服务进程可以作为调度者，将任务分布到其他多个进程中代码示例 # -*- coding: utf-8 -*- # @File : task_master.py # @Date : 2018-06-11 # @Author : Peng Shiyu # 思路：通过managers模块把Qu...
Python 任务调度分布式
Ceph 分布式存储架构解析与工作原理
目录文章目录目录 Ceph 简介 Ceph 的架构：分布式服务进程 Ceph Monitor（MON） Ceph Object Storage Device Daemon（OSD） Ceph Metadata Server（MDS）[可选] Ceph 的架构：核心组件 Ceph RADOS（Reliable, A...

云物互联
发表于2021-08-06 01:46:25
6596 0 0

6.5k 0 0

目录文章目录目录 Ceph 简介 Ceph 的架构：分布式服务进程 Ceph Monitor（MON） Ceph Object Storage Device Daemon（OSD） Ceph Metadata Server（MDS）[可选] Ceph 的架构：核心组件 Ceph RADOS（Reliable, A...
专属分布式存储服务 DSS 分布式
快速入门分布式消息队列之 RabbitMQ（2）
目录目录前文列表 RabbitMQ 的特性 Message Acknowledgment 消息应答 Prefetch Count 预取数 RPC 远程过程调用 vhost 虚拟主机插件系统最后前文列表快速入门分布式消息队列之 RabbitMQ（1） RabbitMQ 的特性紧接上文，继续来看 RabbitM...

云物互联
发表于2021-08-06 01:43:42
6184 0 0

6.1k 0 0

目录目录前文列表 RabbitMQ 的特性 Message Acknowledgment 消息应答 Prefetch Count 预取数 RPC 远程过程调用 vhost 虚拟主机插件系统最后前文列表快速入门分布式消息队列之 RabbitMQ（1） RabbitMQ 的特性紧接上文，继续来看 RabbitM...
RabbitMQ 分布式分布式消息队列 RabbitMQ
分布式任务队列 Celery
目录目录前言简介 Celery 的应用场景架构组成 Celery 应用基础前言分布式任务队列 Celery，Python 开发者必备技能，结合之前的 RabbitMQ 系列，深入梳理一下 Celery 的知识点。当然，这也将会是一个系列的文章。快速入门分布式消息队列之 RabbitMQ（1）快速入门分布式...

云物互联
发表于2021-08-06 01:32:25
2988 0 0

2.9k 0 0

目录目录前言简介 Celery 的应用场景架构组成 Celery 应用基础前言分布式任务队列 Celery，Python 开发者必备技能，结合之前的 RabbitMQ 系列，深入梳理一下 Celery 的知识点。当然，这也将会是一个系列的文章。快速入门分布式消息队列之 RabbitMQ（1）快速入门分布式...
分布式
Git 分布式版本控制系统
目录文章目录目录Git 分布式版本控制系统Git 的基本概念Git 的仓库结构Git 的核心对象Git 的数据结构Git Flow参考文档 Git 分布式版本控制系统 Git 是一个免费的、开源的分布式版本控制系统（Version Control System），本质是一个内容寻址文件系统（Content addressable filesyste...

云物互联
发表于2021-08-06 01:30:53
3222 0 0

3.2k 0 0

目录文章目录目录Git 分布式版本控制系统Git 的基本概念Git 的仓库结构Git 的核心对象Git 的数据结构Git Flow参考文档 Git 分布式版本控制系统 Git 是一个免费的、开源的分布式版本控制系统（Version Control System），本质是一个内容寻址文件系统（Content addressable filesyste...
Git 分布式
ELK/EFK — Overview
目录文章目录目录面向分布式系统的集中式日志解决方案 ELK EFK 面向分布式系统的集中式日志解决方案随着现在各种软件系统的复杂度越来越高，特别是部署到云上之后，再想登录各个节点上查看各个模块的 log，基本是不可行了。因为不仅效率低下，而且有时由于安全性，不可能让工程师直接访问各个物理节点。而且现在大规模的软件...

云物互联
发表于2021-08-06 01:29:33
3171 0 0

3.1k 0 0

目录文章目录目录面向分布式系统的集中式日志解决方案 ELK EFK 面向分布式系统的集中式日志解决方案随着现在各种软件系统的复杂度越来越高，特别是部署到云上之后，再想登录各个节点上查看各个模块的 log，基本是不可行了。因为不仅效率低下，而且有时由于安全性，不可能让工程师直接访问各个物理节点。而且现在大规模的软件...
分布式
etcd — Overview
目录文章目录目录 etcd etcd vs ZooKeeper vs Consul etcd 的应用场景服务注册与发现消息发布与订阅分布式通知与协调分布式锁分布式队列集群监控 Leader 竞选负载均衡 etcd etcd 是 CoreOS 团队于 2013 年 6 月发起的使用 Golan...

云物互联
发表于2021-08-06 01:15:08
3504 0 0

3.5k 0 0

目录文章目录目录 etcd etcd vs ZooKeeper vs Consul etcd 的应用场景服务注册与发现消息发布与订阅分布式通知与协调分布式锁分布式队列集群监控 Leader 竞选负载均衡 etcd etcd 是 CoreOS 团队于 2013 年 6 月发起的使用 Golan...
分布式
分布式系统架构设计系列文章
目录文章目录目录软件架构分布式消息队列分布式任务队列分布式 API 设计安全要求高可靠要求高性能要求软件架构《经典软件架构模式》《经典软件架构指标》《分布式系统（Distributed Systems）架构基础理论》《软件架构的本质》《软件版本定义》《软件质量黄金法则》《...

云物互联
发表于2021-08-06 01:14:02
3337 0 0

3.3k 0 0

目录文章目录目录软件架构分布式消息队列分布式任务队列分布式 API 设计安全要求高可靠要求高性能要求软件架构《经典软件架构模式》《经典软件架构指标》《分布式系统（Distributed Systems）架构基础理论》《软件架构的本质》《软件版本定义》《软件质量黄金法则》《...
分布式架构设计
分布式任务队列 Celery —— 应用基础
目录目录前文列表前言 Celery 的周期定时任务 Celery 的同步调用 Celery 结果储存 Celery 的监控 Celery 的调试前文列表分布式任务队列 Celery 分布式任务队列 Celery —— 详解工作流前言紧接前文，继续看 Celery 应用基础，下列样例依旧从前文 proj 中进行修...

云物互联
发表于2021-08-06 01:10:15
2924 0 0

2.9k 0 0

目录目录前文列表前言 Celery 的周期定时任务 Celery 的同步调用 Celery 结果储存 Celery 的监控 Celery 的调试前文列表分布式任务队列 Celery 分布式任务队列 Celery —— 详解工作流前言紧接前文，继续看 Celery 应用基础，下列样例依旧从前文 proj 中进行修...
分布式
分布式任务队列 Celery —— 深入 Task
目录目录前文列表前言 Task 的实例化任务的名字任务的绑定任务的重试任务的请求上下文任务的继承前文列表分布式任务队列 Celery 分布式任务队列 Celery —— 详解工作流分布式任务队列 Celery —— 应用基础前言紧接前文，继续深入了解 Celery Tasks。示例代...

云物互联
发表于2021-08-06 00:46:25
3021 0 0

3.0k 0 0

目录目录前文列表前言 Task 的实例化任务的名字任务的绑定任务的重试任务的请求上下文任务的继承前文列表分布式任务队列 Celery 分布式任务队列 Celery —— 详解工作流分布式任务队列 Celery —— 应用基础前言紧接前文，继续深入了解 Celery Tasks。示例代...
分布式
快速入门分布式消息队列之 RabbitMQ（1）
目录目录前言简介安装 RabbitMQ 基本对象概念 Message 消息 Producer 生产者 Consumer 消费者 Queue 队列 Exchange 交换机 Binding 绑定 Binding Key 绑定键 Routing Key 路由键 Exchange Type 交换机类型最后前言 ...

云物互联
发表于2021-08-06 00:29:02
6396 0 0

6.3k 0 0

目录目录前言简介安装 RabbitMQ 基本对象概念 Message 消息 Producer 生产者 Consumer 消费者 Queue 队列 Exchange 交换机 Binding 绑定 Binding Key 绑定键 Routing Key 路由键 Exchange Type 交换机类型最后前言 ...
RabbitMQ 分布式分布式消息队列 RabbitMQ
2021 年 ICT 行业预测
目录文章目录目录云计算分布式云 Kubernetes 是多云策略的新 GUI 云迁移工具及咨询会成为云提供商的重要市场走向 Serverless 边缘计算是一朵新的云边缘 Kubernetes 云原生 + WASM eBPF 成为主流 5G 5G 应用将进行更广泛的试验和部署安全行业随 5G + 边缘计算蓬...

云物互联
发表于2021-08-06 00:20:47
3266 0 0

3.2k 0 0

目录文章目录目录云计算分布式云 Kubernetes 是多云策略的新 GUI 云迁移工具及咨询会成为云提供商的重要市场走向 Serverless 边缘计算是一朵新的云边缘 Kubernetes 云原生 + WASM eBPF 成为主流 5G 5G 应用将进行更广泛的试验和部署安全行业随 5G + 边缘计算蓬...
云计算分布式
分布式任务队列 Celery —— 详解工作流
目录目录前文列表前言任务签名 signature 偏函数回调函数 Celery 工作流 group 任务组 chain 任务链 chord 复合任务 chunks 任务块 mapstarmap 任务映射前文列表分布式任务队列 Celery 前言 Celery 的工作流具有非常浓厚的函数式编程风格，在理解工作...

云物互联
发表于2021-08-06 00:15:38
3129 0 0

3.1k 0 0

目录目录前文列表前言任务签名 signature 偏函数回调函数 Celery 工作流 group 任务组 chain 任务链 chord 复合任务 chunks 任务块 mapstarmap 任务映射前文列表分布式任务队列 Celery 前言 Celery 的工作流具有非常浓厚的函数式编程风格，在理解工作...
分布式
快速入门分布式消息队列之 RabbitMQ（3）
目录目录前文列表前言通道 Channel 一个基本的生产者消费者实现消费者生产者运行结果应用预取计数应用 ACK 机制最后前文列表快速入门分布式消息队列之 RabbitMQ（1）快速入门分布式消息队列之 RabbitMQ（2）前言在前文列表中，分别介绍了 RabbitMQ 的对象概...

云物互联
发表于2021-08-06 00:06:45
6230 0 0

6.2k 0 0

目录目录前文列表前言通道 Channel 一个基本的生产者消费者实现消费者生产者运行结果应用预取计数应用 ACK 机制最后前文列表快速入门分布式消息队列之 RabbitMQ（1）快速入门分布式消息队列之 RabbitMQ（2）前言在前文列表中，分别介绍了 RabbitMQ 的对象概...
RabbitMQ 分布式分布式消息队列 RabbitMQ

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript