- 在项目交付中，经常遇到不同数据库间的数据迁移，本文针对MySQL->GaussDB(DWS)的常用语法兼容性进行了梳理，汇总整理语法对照表，可以参考使用。 在项目交付中，经常遇到不同数据库间的数据迁移，本文针对MySQL->GaussDB(DWS)的常用语法兼容性进行了梳理，汇总整理语法对照表，可以参考使用。
- GaussDB(DWS)内核主要对表锁和轻量级锁的使用采用了死锁检测。本文主要对这两个场景分别进行了阐述。 GaussDB(DWS)内核主要对表锁和轻量级锁的使用采用了死锁检测。本文主要对这两个场景分别进行了阐述。
- Clickhouse新增加的Kerberos认证方式兼容ck自带的用户/密码认证方式，丰富了ck用户登陆认证方式。 Clickhouse新增加的Kerberos认证方式兼容ck自带的用户/密码认证方式，丰富了ck用户登陆认证方式。
- 介绍hive的UDAF（user-defined aggregate function）用户自定义聚合函数，可以允许用户自行开发某种数据处理逻辑的函数，将其注册在Hive中进行调用完成业务逻辑，UDAF可以接受多个输入数据行，并产生一个输出数据行，比如像我们日常使用的count、sum、max等函数都是UDAF的Hive内置函数。如何自己编写UDAF开发一个UDAF需要继承Hive的类有两种... 介绍hive的UDAF（user-defined aggregate function）用户自定义聚合函数，可以允许用户自行开发某种数据处理逻辑的函数，将其注册在Hive中进行调用完成业务逻辑，UDAF可以接受多个输入数据行，并产生一个输出数据行，比如像我们日常使用的count、sum、max等函数都是UDAF的Hive内置函数。如何自己编写UDAF开发一个UDAF需要继承Hive的类有两种...
- 一、配置Linux C++编译环境： 1、下载软件包，cmake和gcc（9.x以上版本） 2、安装CMake:tar -xzvf cmake-3.14.1.tar.gz./bootstrapmake -j8make install安装验证：3、安装GCC：解压并下载其他依赖软件：tar -xvf gcc-9.3.0.tar.xzcd gcc-9.3.0/wget ftp://gcc.gnu... 一、配置Linux C++编译环境： 1、下载软件包，cmake和gcc（9.x以上版本） 2、安装CMake:tar -xzvf cmake-3.14.1.tar.gz./bootstrapmake -j8make install安装验证：3、安装GCC：解压并下载其他依赖软件：tar -xvf gcc-9.3.0.tar.xzcd gcc-9.3.0/wget ftp://gcc.gnu...
- 本文解读了《Gaussian Bounding Boxes and Probabilistic Intersection-over-Union for Object Detection》，该论文针对目标检测任务，提出了新的高斯检测框(GBB)，及新的计算目标相似性的方法(ProbIoU)。 本文解读了《Gaussian Bounding Boxes and Probabilistic Intersection-over-Union for Object Detection》，该论文针对目标检测任务，提出了新的高斯检测框(GBB)，及新的计算目标相似性的方法(ProbIoU)。
- GaussDB(DWS)采用MVCC(Multi-Version Concurrency Control) 多版本并发控制实现对数据库的并发访问，以及带来诸如锁冲突少、事务回滚代价低等好处，但同时给数据库空间管控带来极大挑战。 本文主要从数据仓库的实践出发，结合数仓周期性的批量特征，制定数据表脏页空间回收实践，规避数据ETL过程带来空间几何膨胀问题，做到普通业务用户只关注业务实现，具体脏页空间运维 GaussDB(DWS)采用MVCC(Multi-Version Concurrency Control) 多版本并发控制实现对数据库的并发访问，以及带来诸如锁冲突少、事务回滚代价低等好处，但同时给数据库空间管控带来极大挑战。 本文主要从数据仓库的实践出发，结合数仓周期性的批量特征，制定数据表脏页空间回收实践，规避数据ETL过程带来空间几何膨胀问题，做到普通业务用户只关注业务实现，具体脏页空间运维
- 通信库libpq重构解决两点问题：针对大并发短查询场景下，CN与DN建立/复用/归还/释放连接时争抢全局锁PoolerLock，造成的性能问题进行Pooler锁优化；针对当前代码仓中libpq代码冗余度高、复用性差、可维护性差、可读性差问题，对libpq代码进行整合以符合clean code要求。在现网多个局点，在高并发短查询场景下，CN与DN建连时等待PoolerLock锁耗时，导致环境C... 通信库libpq重构解决两点问题：针对大并发短查询场景下，CN与DN建立/复用/归还/释放连接时争抢全局锁PoolerLock，造成的性能问题进行Pooler锁优化；针对当前代码仓中libpq代码冗余度高、复用性差、可维护性差、可读性差问题，对libpq代码进行整合以符合clean code要求。在现网多个局点，在高并发短查询场景下，CN与DN建连时等待PoolerLock锁耗时，导致环境C...
- MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录。 如果没有MyBatis框架时，要使用已有的MyBatis来直接访问DWS数据库时，需要对MyBatis语法进行相应的改造，本文对常见的几种场景进行改造。 MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录。 如果没有MyBatis框架时，要使用已有的MyBatis来直接访问DWS数据库时，需要对MyBatis语法进行相应的改造，本文对常见的几种场景进行改造。
- 工具介绍CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能：对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert... 工具介绍CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能：对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert...
- 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性... Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
- Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时... Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时...
- JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an... JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an...
- 千里之行，始于足下。扎实全面的测试，源于规范完整的文本用例。 千里之行，始于足下。扎实全面的测试，源于规范完整的文本用例。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
即将直播
热门标签