- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通... 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通...
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x
- 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j... 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j...
- attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl... attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl...
- 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"... 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"...
- 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi... 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满... 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满...
- 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字... 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字...
- openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能 openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能
- 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删... 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删...
- 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直... 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直...
- 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访... 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访...
上滑加载中
推荐直播
-
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中
热门标签