- Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时... Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时...
- DataStreamDataStream通过Map、flatMap、filter等转换，而所有的转换在提交任务前都缓存在env的operators中（Operators将一个或多个dataStream转换成新的dataStream）代码解析以flatMap为例需要注意的是 keyBy、shuffle、rebalance不会发生datastream转换https://ci.apache.org... DataStreamDataStream通过Map、flatMap、filter等转换，而所有的转换在提交任务前都缓存在env的operators中（Operators将一个或多个dataStream转换成新的dataStream）代码解析以flatMap为例需要注意的是 keyBy、shuffle、rebalance不会发生datastream转换https://ci.apache.org...
- JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an... JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an...
- 1 SqoopShell使用简介sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指... 1 SqoopShell使用简介sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指...
- 1 问题描述从某个时间点开始，Manager页面hiveserver状态在良好和恢复中频繁变化，后台检查hiveserver频繁重启。2 问题分析1. 从hive.log日志可见健康检查多次失败，NodeAgent因健康检查多次失败认为服务已经异常，重启HiveServer进程，Manager页面状态显示正在恢复。2. 健康检查为NodeAgent调用HiveServer的j... 1 问题描述从某个时间点开始，Manager页面hiveserver状态在良好和恢复中频繁变化，后台检查hiveserver频繁重启。2 问题分析1. 从hive.log日志可见健康检查多次失败，NodeAgent因健康检查多次失败认为服务已经异常，重启HiveServer进程，Manager页面状态显示正在恢复。2. 健康检查为NodeAgent调用HiveServer的j...
- 【摘要】对Hive所有的表逐个进行MSCK Repair，修复效率将会很慢，例如修复1000+个表，30+万个分区，修复时长需要5~6个小时左右，耗时非常长，大大占用了变更时间窗。因此，优化改进MSCK Repair，有效提升修复效率，将变得尤为急迫和重要。优化后，10并发执行MSCK Repair修复1000+个表，30+万个分区，修复操作只需0.5小时左右，效率提升10~12倍。 【摘要】对Hive所有的表逐个进行MSCK Repair，修复效率将会很慢，例如修复1000+个表，30+万个分区，修复时长需要5~6个小时左右，耗时非常长，大大占用了变更时间窗。因此，优化改进MSCK Repair，有效提升修复效率，将变得尤为急迫和重要。优化后，10并发执行MSCK Repair修复1000+个表，30+万个分区，修复操作只需0.5小时左右，效率提升10~12倍。
- 问题描述：有hiveserver反复处于恢复中，分析该hiveserver日志发现频繁的FullGC，hiveserver的GC配置为64GB。问题分析：1. 观察hiveserver监控，发现在较短时间内hiveserver内存使用率快速升高。根据内存骤升初步推测为业务导致。2. 取得hiveserver故障节点对应的内存dump日志 及 hiveserver运行日志进... 问题描述：有hiveserver反复处于恢复中，分析该hiveserver日志发现频繁的FullGC，hiveserver的GC配置为64GB。问题分析：1. 观察hiveserver监控，发现在较短时间内hiveserver内存使用率快速升高。根据内存骤升初步推测为业务导致。2. 取得hiveserver故障节点对应的内存dump日志 及 hiveserver运行日志进...
- 2021年4月21日，中国太平洋保险集团联合华为云完成全球首例大数据集群跨多版本滚动升级，突破传统方案需离线停机多次升级模式，一次性将现网集群由FusionInsight HD C70升级到FusionInsight MRS 8.0.2，横跨C80、6.5.1两个版本，同时完成了大数据集群从物理机向云服务的模式转变，实现同业首例突破，升级过程业务无感，全程集群作业无中断、性能无影响。 2021年4月21日，中国太平洋保险集团联合华为云完成全球首例大数据集群跨多版本滚动升级，突破传统方案需离线停机多次升级模式，一次性将现网集群由FusionInsight HD C70升级到FusionInsight MRS 8.0.2，横跨C80、6.5.1两个版本，同时完成了大数据集群从物理机向云服务的模式转变，实现同业首例突破，升级过程业务无感，全程集群作业无中断、性能无影响。
- MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。 MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。
- MRS3.1.1-LTS HetuEngine 内核版本为openlookeng1.2.0版本，兼容openlookeng社区功能，对接指南可参考社区指导，配置文件可参考社区内容。 MRS3.1.1-LTS HetuEngine 内核版本为openlookeng1.2.0版本，兼容openlookeng社区功能，对接指南可参考社区指导，配置文件可参考社区内容。
- HetuEngine依托Hadoop集群中的Yarn-Service进行资源管理，实现计算实例的租户级资源隔离。用户在某些业务场景下需要经常对计算实例或者数据源进行增删改查和批量更新，此类频繁操作需要以非界面方式实现，HetuEngine开放了相关REST API，便于对计算实例和数据源管理。具体接口内容请参考《华为云Stack 8.0.3 MapReduce服务（3.1.1-LTS）Het... HetuEngine依托Hadoop集群中的Yarn-Service进行资源管理，实现计算实例的租户级资源隔离。用户在某些业务场景下需要经常对计算实例或者数据源进行增删改查和批量更新，此类频繁操作需要以非界面方式实现，HetuEngine开放了相关REST API，便于对计算实例和数据源管理。具体接口内容请参考《华为云Stack 8.0.3 MapReduce服务（3.1.1-LTS）Het...
- 1 Hive分区分桶1.1 分区分区概念在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。分为静态分区和动态分区两种，静态分区与动态分区的主要区别在于静... 1 Hive分区分桶1.1 分区分区概念在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。分为静态分区和动态分区两种，静态分区与动态分区的主要区别在于静...
- 本文基于MRS-3.1.0 版本的HetuEngine样例代码https://github.com/huaweicloud/huaweicloud-mrs-example/blob/mrs-3.1.0/src/hetu-examples/hetu-examples-security/src/main/java/com/huawei/presto/JDBCExampleBroker.java使... 本文基于MRS-3.1.0 版本的HetuEngine样例代码https://github.com/huaweicloud/huaweicloud-mrs-example/blob/mrs-3.1.0/src/hetu-examples/hetu-examples-security/src/main/java/com/huawei/presto/JDBCExampleBroker.java使...
- 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo... 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo...
- 在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租，来进行大数据集群划分和资源管理。 在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租，来进行大数据集群划分和资源管理。
上滑加载中
推荐直播
-
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名 -
热门标签