- HBase介绍 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 HBase采用Master/Slave架构，由HMaster节点、RegionServer节点、ZooKeeper集群组成，底层数据存储在HDFS上。 整体架构如图所示：HMaster主... HBase介绍 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 HBase采用Master/Slave架构，由HMaster节点、RegionServer节点、ZooKeeper集群组成，底层数据存储在HDFS上。 整体架构如图所示：HMaster主...
- HetuEngine支持两种权限管控方式，分别是基于Ranger的权限管控和基于Metastore权限管控。安全模式集群支持两种权限管控方式，3202版本开始，非安全模式集群支持进行Ranger权限管控。本章将对HetuEngine的权限管控能力和操作实践进行介绍。 HetuEngine支持两种权限管控方式，分别是基于Ranger的权限管控和基于Metastore权限管控。安全模式集群支持两种权限管控方式，3202版本开始，非安全模式集群支持进行Ranger权限管控。本章将对HetuEngine的权限管控能力和操作实践进行介绍。
- HetuEngine能够支持跨源（多种数据源，如Hive，HBase，GaussDB(DWS)，Elasticsearch，ClickHouse等），跨域（多个地域或数据中心）的快速联合查询，尤其适用于Hadoop集群（FusionInsight MRS）的Hive、Hudi数据的交互式快速查询场景。本章将对HetuEngine的数据源对接能力与操作实践进行介绍。 HetuEngine能够支持跨源（多种数据源，如Hive，HBase，GaussDB(DWS)，Elasticsearch，ClickHouse等），跨域（多个地域或数据中心）的快速联合查询，尤其适用于Hadoop集群（FusionInsight MRS）的Hive、Hudi数据的交互式快速查询场景。本章将对HetuEngine的数据源对接能力与操作实践进行介绍。
- 《手把手带你玩转HetuEninge》系列文章旨在从业务场景，集群规划，业务规划，集群调优等多个角度出发，由浅入深带你快速了解和使用HetuEngine，进入交互式查询的世界，体验极速的大数据查询。 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 《手把手带你玩转HetuEninge》系列文章旨在从业务场景，集群规划，业务规划，集群调优等多个角度出发，由浅入深带你快速了解和使用HetuEngine，进入交互式查询的世界，体验极速的大数据查询。 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。
- MRS IoTDB融合FusionInsight MRS Manager强大的日志管理、运维监控、滚动升级、安全加固、高可用保障、灾备恢复、细粒度权限管控、大数据生态集成、资源池优化调度等企业级核心能力，针对工业级时间序列数据实时性高，采集频率高，存储周期长，算法专业强等特点，提供海量时序数据高并发实时写入和查询的能力，支撑新一代信息技术与工业深度融合发展，将进一步加速工业乃至产业数字化。 MRS IoTDB融合FusionInsight MRS Manager强大的日志管理、运维监控、滚动升级、安全加固、高可用保障、灾备恢复、细粒度权限管控、大数据生态集成、资源池优化调度等企业级核心能力，针对工业级时间序列数据实时性高，采集频率高，存储周期长，算法专业强等特点，提供海量时序数据高并发实时写入和查询的能力，支撑新一代信息技术与工业深度融合发展，将进一步加速工业乃至产业数字化。
- 现代数据分析平台必将长期处于持续演进和发展变化的过程中，华为云FusionInsight MRS HetuEngine持续提升自助用数分析平台的可服务、易运维能力，基于AI技术持续提升对数据分析平台的智能化赋能水平，引领现代数据分析平台向专业化、智能化、易运维、高性能方向演进。 现代数据分析平台必将长期处于持续演进和发展变化的过程中，华为云FusionInsight MRS HetuEngine持续提升自助用数分析平台的可服务、易运维能力，基于AI技术持续提升对数据分析平台的智能化赋能水平，引领现代数据分析平台向专业化、智能化、易运维、高性能方向演进。
- HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。2022年9月30日即将发布的新版本MRS中，HetuEngine将带来智能预计算、data skipping、SQL诊断等新特性.. HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。2022年9月30日即将发布的新版本MRS中，HetuEngine将带来智能预计算、data skipping、SQL诊断等新特性..
- FusionInsight LLD主要用于生成MRS大数据集群部署所需配置文件，本文主要介绍了LLD的操作方式，指导开发者如何使用FusionInsight LLD工具。 FusionInsight LLD主要用于生成MRS大数据集群部署所需配置文件，本文主要介绍了LLD的操作方式，指导开发者如何使用FusionInsight LLD工具。
- MRS IoTDB 基于 Apache IoTDB基础上，进行了大量的特性增强，借助开源力量，达到商用目标。 MRS IoTDB 基于 Apache IoTDB基础上，进行了大量的特性增强，借助开源力量，达到商用目标。
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- Clickhouse作为一个OLAP数据库，它对事务的支持非常有限。本文主要介绍通过ReplacingMergeTree来实现Clickhouse数据的更新、删除。 Clickhouse作为一个OLAP数据库，它对事务的支持非常有限。本文主要介绍通过ReplacingMergeTree来实现Clickhouse数据的更新、删除。
- 问题背景与现象表状态异常后使用hbck命令无法修复。解决办法移动表目录至临时目录下：hdfs dfs -mv /hbase/data/NAMESPACE/TABLENAME /tmp/对临时目录下的表数据打快照：hdfs dfsadmin -allowSnapshot /tmp/TABLENAMEhdfs dfs -createSnapshot /tmp/TABLENAME TABLENAM... 问题背景与现象表状态异常后使用hbck命令无法修复。解决办法移动表目录至临时目录下：hdfs dfs -mv /hbase/data/NAMESPACE/TABLENAME /tmp/对临时目录下的表数据打快照：hdfs dfsadmin -allowSnapshot /tmp/TABLENAMEhdfs dfs -createSnapshot /tmp/TABLENAME TABLENAM...
- 问题背景与现象hbase hbck检查结果一张表tableinfo和regioninfo同时丢失，使用-repair命令修复失败。ERROR: Orphan region in HDFS: Unable to load .regioninfo from table hbck_test in hdfs dir hdfs://hacluster/hbase/data/default/hbck_t... 问题背景与现象hbase hbck检查结果一张表tableinfo和regioninfo同时丢失，使用-repair命令修复失败。ERROR: Orphan region in HDFS: Unable to load .regioninfo from table hbck_test in hdfs dir hdfs://hacluster/hbase/data/default/hbck_t...
- 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=... 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=...
- 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在... 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签