- SMP架构是一种利用富余资源来换取时间的方案，计划并行之后必定会引起资源消耗的增加，包括CPU、内存、I/O和网络带宽等资源的消耗都会出现明显的增长，而且随着并行度的增大，资源消耗也随之增大。当上述资源成为瓶颈的情况下，SMP无法提升性能，反而可能导致集群整体性能的劣化。SMP支持自适应特性，该特性会根据当前资源和查询特征，动态选取最优的并行度。下面对各种资源对SMP性能的影响情况分别进行说... SMP架构是一种利用富余资源来换取时间的方案，计划并行之后必定会引起资源消耗的增加，包括CPU、内存、I/O和网络带宽等资源的消耗都会出现明显的增长，而且随着并行度的增大，资源消耗也随之增大。当上述资源成为瓶颈的情况下，SMP无法提升性能，反而可能导致集群整体性能的劣化。SMP支持自适应特性，该特性会根据当前资源和查询特征，动态选取最优的并行度。下面对各种资源对SMP性能的影响情况分别进行说...
- Linux I/O调度器的总体目标是希望让磁头能够顺序访问，在较小的影响响应速度的前提下，提高I/O的吞吐量，类似电梯的原理，所以Linux的I/O调度算法也被称为电梯调度算法。下面就Linux常见的I/O调度程序进行介绍。 Noop(No Operation)Noop是针对非传统机械硬盘（例如Dorado V3或内存设备）或自身具备I/O调度算法或较大缓存的环境，提供了最基本的合并和排序（... Linux I/O调度器的总体目标是希望让磁头能够顺序访问，在较小的影响响应速度的前提下，提高I/O的吞吐量，类似电梯的原理，所以Linux的I/O调度算法也被称为电梯调度算法。下面就Linux常见的I/O调度程序进行介绍。 Noop(No Operation)Noop是针对非传统机械硬盘（例如Dorado V3或内存设备）或自身具备I/O调度算法或较大缓存的环境，提供了最基本的合并和排序（...
- 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可... 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可...
- DN实例由于无法申请到内存而无法做checkpoint导致crash，且无法启动，最终发现是EXT4文件系统损坏导致。文件系统损坏，但是对用户的报错信息是内存问题。这个路径也是很奇怪的。本文讲述了排查思路和最后的修复方法。 DN实例由于无法申请到内存而无法做checkpoint导致crash，且无法启动，最终发现是EXT4文件系统损坏导致。文件系统损坏，但是对用户的报错信息是内存问题。这个路径也是很奇怪的。本文讲述了排查思路和最后的修复方法。
- 1 Hang问题基础知识GaussDB 200为分布式数据库，通常由于单节点亚健康、系统资源紧张或查询本身的计划等问题，造成系统疑似发生Hang。Hang问题的产生原因由很多种，比如，死锁等待、日志同步等待、事务超时、通信故障、数据溢出发生死循环等等，更为常见的是由于执行慢、中间结果集倾斜而导致的疑似Hang。掌握Hang问题的基本定位方法对于大集群环境下快速找准疑似阻塞点，修复故障环境或优... 1 Hang问题基础知识GaussDB 200为分布式数据库，通常由于单节点亚健康、系统资源紧张或查询本身的计划等问题，造成系统疑似发生Hang。Hang问题的产生原因由很多种，比如，死锁等待、日志同步等待、事务超时、通信故障、数据溢出发生死循环等等，更为常见的是由于执行慢、中间结果集倾斜而导致的疑似Hang。掌握Hang问题的基本定位方法对于大集群环境下快速找准疑似阻塞点，修复故障环境或优...
- 本文从简单介绍了Sqoop作业执行时相关的类及方法。并将该过程与MapReduce的执行结合，分析数据如何从源端迁移到目的端。Sqoop作业执行过程抛开MR的执行过程，Sqoop执行时用到的关键类总共有5个，Initializer、Partitioner、Extractor、Loader、Destroyer。执行流程如下图所示Initializer：初始化阶段，源数据校验，参数初始化等工作；... 本文从简单介绍了Sqoop作业执行时相关的类及方法。并将该过程与MapReduce的执行结合，分析数据如何从源端迁移到目的端。Sqoop作业执行过程抛开MR的执行过程，Sqoop执行时用到的关键类总共有5个，Initializer、Partitioner、Extractor、Loader、Destroyer。执行流程如下图所示Initializer：初始化阶段，源数据校验，参数初始化等工作；...
- 以启动服务端为例，dotnetty在管道中会配置简单的解码，如果需要分包发送数据，或者一些复杂的发送数据场景中，可以在管道中配置IChannelHandler类，具体分几类可以在网上查相关资料，以代码为例，LengthFieldPrepender中的4代表发送的数据中前4个字节表示为数据长度，后续的才是实际要用到的数据，在自定义的EchoServerHandler方法的ChannelRead... 以启动服务端为例，dotnetty在管道中会配置简单的解码，如果需要分包发送数据，或者一些复杂的发送数据场景中，可以在管道中配置IChannelHandler类，具体分几类可以在网上查相关资料，以代码为例，LengthFieldPrepender中的4代表发送的数据中前4个字节表示为数据长度，后续的才是实际要用到的数据，在自定义的EchoServerHandler方法的ChannelRead...
- python 并发编程之协程知识的介绍。 python 并发编程之协程知识的介绍。
- 1. 功能简介任务调度为用户提供SQL定时执行功能，用户提交SQL语句后，系统在用户设定的时间点去执行用户的SQL语句。任务调度可分为“立即执行”，“定时执行”和“周期执行”三种类型。 其使用场景包括：1. 大表表结构变更，索引变更等针对数据量比较大的表，表结构或索引的变更，耗时比较长，可能会影响线上正常业务，需要在用户流量低峰期操作。2. 定时生成统计数据针对业务... 1. 功能简介任务调度为用户提供SQL定时执行功能，用户提交SQL语句后，系统在用户设定的时间点去执行用户的SQL语句。任务调度可分为“立即执行”，“定时执行”和“周期执行”三种类型。 其使用场景包括：1. 大表表结构变更，索引变更等针对数据量比较大的表，表结构或索引的变更，耗时比较长，可能会影响线上正常业务，需要在用户流量低峰期操作。2. 定时生成统计数据针对业务...
- 网卡压测时因内核iommu参数设置，造成网卡中断过高，不能充分发挥网卡性能 网卡压测时因内核iommu参数设置，造成网卡中断过高，不能充分发挥网卡性能
- 在Envoy的代码中Dispatcher是随处可见的，可以说在Envoy中有着举足轻重的地位，一个Dispatcher就是一个EventLoop，其承担了任务队列、网络事件处理、定时器、信号处理等核心功能。在Envoy threading model这篇文章所提到的EventLoop(Each worker thread runs a “non-blocking” event loop)指的就是这 在Envoy的代码中Dispatcher是随处可见的，可以说在Envoy中有着举足轻重的地位，一个Dispatcher就是一个EventLoop，其承担了任务队列、网络事件处理、定时器、信号处理等核心功能。在Envoy threading model这篇文章所提到的EventLoop(Each worker thread runs a “non-blocking” event loop)指的就是这
- 概述最近团队在使用R语言作为算法的实践语言，通过人工策略和xgboost算法进行一些价格算法的控制和输出，发现一些代码中对于内存、CPU、程序设计思想以及现代统计算法并不是很熟悉，于是特写此篇普及一下知识，也算是我对R语言的入门文章吧。GC对R的内存管理的充分理解将帮助您预测给定任务需要多少内存，并帮助您充分利用您拥有的内存。它甚至可以帮助您编写更快的代码，因为copy造成的副本是代码速度慢... 概述最近团队在使用R语言作为算法的实践语言，通过人工策略和xgboost算法进行一些价格算法的控制和输出，发现一些代码中对于内存、CPU、程序设计思想以及现代统计算法并不是很熟悉，于是特写此篇普及一下知识，也算是我对R语言的入门文章吧。GC对R的内存管理的充分理解将帮助您预测给定任务需要多少内存，并帮助您充分利用您拥有的内存。它甚至可以帮助您编写更快的代码，因为copy造成的副本是代码速度慢...
- 示例：一手交钱一手交货！ 示例：一手交钱一手交货！
- CyclicBarrier 是另一个同步工具，本文主要来总结一下 CyclicBarrier 的使用 CyclicBarrier 是另一个同步工具，本文主要来总结一下 CyclicBarrier 的使用
- Semaphore 通常用于限制可以访问某些资源（物理或逻辑的）线程数目，我们可以自己设定最大访问量。 Semaphore 通常用于限制可以访问某些资源（物理或逻辑的）线程数目，我们可以自己设定最大访问量。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签