- SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,包括CPU、内存、I/O和网络带宽等资源的消耗都会出现明显的增长,而且随着并行度的增大,资源消耗也随之增大。当上述资源成为瓶颈的情况下,SMP无法提升性能,反而可能导致集群整体性能的劣化。SMP支持自适应特性,该特性会根据当前资源和查询特征,动态选取最优的并行度。下面对各种资源对SMP性能的影响情况分别进行说... SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,包括CPU、内存、I/O和网络带宽等资源的消耗都会出现明显的增长,而且随着并行度的增大,资源消耗也随之增大。当上述资源成为瓶颈的情况下,SMP无法提升性能,反而可能导致集群整体性能的劣化。SMP支持自适应特性,该特性会根据当前资源和查询特征,动态选取最优的并行度。下面对各种资源对SMP性能的影响情况分别进行说...
- Linux I/O调度器的总体目标是希望让磁头能够顺序访问,在较小的影响响应速度的前提下,提高I/O的吞吐量,类似电梯的原理,所以Linux的I/O调度算法也被称为电梯调度算法。下面就Linux常见的I/O调度程序进行介绍。 Noop(No Operation)Noop是针对非传统机械硬盘(例如Dorado V3或内存设备)或自身具备I/O调度算法或较大缓存的环境,提供了最基本的合并和排序(... Linux I/O调度器的总体目标是希望让磁头能够顺序访问,在较小的影响响应速度的前提下,提高I/O的吞吐量,类似电梯的原理,所以Linux的I/O调度算法也被称为电梯调度算法。下面就Linux常见的I/O调度程序进行介绍。 Noop(No Operation)Noop是针对非传统机械硬盘(例如Dorado V3或内存设备)或自身具备I/O调度算法或较大缓存的环境,提供了最基本的合并和排序(...
- 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS:c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下: 只可能出现重传。数据发送了,但是CheckPoint写成功之前进程挂了或者写失败了(比如磁盘满等),就有可能导致重传。多线程的情况下: 可... 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS:c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下: 只可能出现重传。数据发送了,但是CheckPoint写成功之前进程挂了或者写失败了(比如磁盘满等),就有可能导致重传。多线程的情况下: 可...
- DN实例由于无法申请到内存而无法做checkpoint导致crash,且无法启动,最终发现是EXT4文件系统损坏导致。文件系统损坏,但是对用户的报错信息是内存问题。这个路径也是很奇怪的。本文讲述了排查思路和最后的修复方法。 DN实例由于无法申请到内存而无法做checkpoint导致crash,且无法启动,最终发现是EXT4文件系统损坏导致。文件系统损坏,但是对用户的报错信息是内存问题。这个路径也是很奇怪的。本文讲述了排查思路和最后的修复方法。
- 1 Hang问题基础知识GaussDB 200为分布式数据库,通常由于单节点亚健康、系统资源紧张或查询本身的计划等问题,造成系统疑似发生Hang。Hang问题的产生原因由很多种,比如,死锁等待、日志同步等待、事务超时、通信故障、数据溢出发生死循环等等,更为常见的是由于执行慢、中间结果集倾斜而导致的疑似Hang。掌握Hang问题的基本定位方法对于大集群环境下快速找准疑似阻塞点,修复故障环境或优... 1 Hang问题基础知识GaussDB 200为分布式数据库,通常由于单节点亚健康、系统资源紧张或查询本身的计划等问题,造成系统疑似发生Hang。Hang问题的产生原因由很多种,比如,死锁等待、日志同步等待、事务超时、通信故障、数据溢出发生死循环等等,更为常见的是由于执行慢、中间结果集倾斜而导致的疑似Hang。掌握Hang问题的基本定位方法对于大集群环境下快速找准疑似阻塞点,修复故障环境或优...
- 本文从简单介绍了Sqoop作业执行时相关的类及方法。并将该过程与MapReduce的执行结合,分析数据如何从源端迁移到目的端。Sqoop作业执行过程抛开MR的执行过程,Sqoop执行时用到的关键类总共有5个,Initializer、Partitioner、Extractor、Loader、Destroyer。执行流程如下图所示Initializer:初始化阶段,源数据校验,参数初始化等工作;... 本文从简单介绍了Sqoop作业执行时相关的类及方法。并将该过程与MapReduce的执行结合,分析数据如何从源端迁移到目的端。Sqoop作业执行过程抛开MR的执行过程,Sqoop执行时用到的关键类总共有5个,Initializer、Partitioner、Extractor、Loader、Destroyer。执行流程如下图所示Initializer:初始化阶段,源数据校验,参数初始化等工作;...
- 以启动服务端为例,dotnetty在管道中会配置简单的解码,如果需要分包发送数据,或者一些复杂的发送数据场景中,可以在管道中配置IChannelHandler类,具体分几类可以在网上查相关资料,以代码为例,LengthFieldPrepender中的4代表发送的数据中前4个字节表示为数据长度,后续的才是实际要用到的数据,在自定义的EchoServerHandler方法的ChannelRead... 以启动服务端为例,dotnetty在管道中会配置简单的解码,如果需要分包发送数据,或者一些复杂的发送数据场景中,可以在管道中配置IChannelHandler类,具体分几类可以在网上查相关资料,以代码为例,LengthFieldPrepender中的4代表发送的数据中前4个字节表示为数据长度,后续的才是实际要用到的数据,在自定义的EchoServerHandler方法的ChannelRead...
- python 并发编程之协程知识的介绍。 python 并发编程之协程知识的介绍。
- 1. 功能简介任务调度为用户提供SQL定时执行功能,用户提交SQL语句后,系统在用户设定的时间点去执行用户的SQL语句。任务调度可分为“立即执行”,“定时执行”和“周期执行”三种类型。 其使用场景包括:1. 大表表结构变更,索引变更等针对数据量比较大的表,表结构或索引的变更,耗时比较长,可能会影响线上正常业务,需要在用户流量低峰期操作。2. 定时生成统计数据针对业务... 1. 功能简介任务调度为用户提供SQL定时执行功能,用户提交SQL语句后,系统在用户设定的时间点去执行用户的SQL语句。任务调度可分为“立即执行”,“定时执行”和“周期执行”三种类型。 其使用场景包括:1. 大表表结构变更,索引变更等针对数据量比较大的表,表结构或索引的变更,耗时比较长,可能会影响线上正常业务,需要在用户流量低峰期操作。2. 定时生成统计数据针对业务...
- 网卡压测时因内核iommu参数设置,造成网卡中断过高,不能充分发挥网卡性能 网卡压测时因内核iommu参数设置,造成网卡中断过高,不能充分发挥网卡性能
- 在Envoy的代码中Dispatcher是随处可见的,可以说在Envoy中有着举足轻重的地位,一个Dispatcher就是一个EventLoop,其承担了任务队列、网络事件处理、定时器、信号处理等核心功能。在Envoy threading model这篇文章所提到的EventLoop(Each worker thread runs a “non-blocking” event loop)指的就是这 在Envoy的代码中Dispatcher是随处可见的,可以说在Envoy中有着举足轻重的地位,一个Dispatcher就是一个EventLoop,其承担了任务队列、网络事件处理、定时器、信号处理等核心功能。在Envoy threading model这篇文章所提到的EventLoop(Each worker thread runs a “non-blocking” event loop)指的就是这
- 概述最近团队在使用R语言作为算法的实践语言,通过人工策略和xgboost算法进行一些价格算法的控制和输出,发现一些代码中对于内存、CPU、程序设计思想以及现代统计算法并不是很熟悉,于是特写此篇普及一下知识,也算是我对R语言的入门文章吧。GC对R的内存管理的充分理解将帮助您预测给定任务需要多少内存,并帮助您充分利用您拥有的内存。它甚至可以帮助您编写更快的代码,因为copy造成的副本是代码速度慢... 概述最近团队在使用R语言作为算法的实践语言,通过人工策略和xgboost算法进行一些价格算法的控制和输出,发现一些代码中对于内存、CPU、程序设计思想以及现代统计算法并不是很熟悉,于是特写此篇普及一下知识,也算是我对R语言的入门文章吧。GC对R的内存管理的充分理解将帮助您预测给定任务需要多少内存,并帮助您充分利用您拥有的内存。它甚至可以帮助您编写更快的代码,因为copy造成的副本是代码速度慢...
- 示例:一手交钱一手交货! 示例:一手交钱一手交货!
- CyclicBarrier 是另一个同步工具,本文主要来总结一下 CyclicBarrier 的使用 CyclicBarrier 是另一个同步工具,本文主要来总结一下 CyclicBarrier 的使用
- Semaphore 通常用于限制可以访问某些资源(物理或逻辑的)线程数目,我们可以自己设定最大访问量。 Semaphore 通常用于限制可以访问某些资源(物理或逻辑的)线程数目,我们可以自己设定最大访问量。
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中
热门标签