- Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge... Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge...
- Phoenix问题修复贡献开源社区. Phoenix问题修复贡献开源社区.
- 如果您已经创建了GaussDB(DWS) 集群，就可以使用SQL客户端工具或者JDBC（Java database connectivity）/ODBC（Open Database Connectivity）等第三方驱动程序 连接集群，访问集群中的数据库。本文介绍如何使用Data Studio图形界面客户端连接集群 如果您已经创建了GaussDB(DWS) 集群，就可以使用SQL客户端工具或者JDBC（Java database connectivity）/ODBC（Open Database Connectivity）等第三方驱动程序 连接集群，访问集群中的数据库。本文介绍如何使用Data Studio图形界面客户端连接集群
- 一个基于pySpark的简单nlp样例 一个基于pySpark的简单nlp样例
- 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 问题描述Flink业务一般在运行过程中默认加载的jar包路径为：xxx/Flink/flink/lib的目录下，如果添加其它路径的jar包会报错，如何添加其它外部依赖解决方案创建一个外部的lib目录，将部分依赖包放到外部lib目录下，如下图： 2. 修改启动脚本的参数配置脚本，sh将jar包路径传给环境变量中 3. 此时正常启动任务即可， 不需要加-C参数 HDFS上也能看到第三... 问题描述Flink业务一般在运行过程中默认加载的jar包路径为：xxx/Flink/flink/lib的目录下，如果添加其它路径的jar包会报错，如何添加其它外部依赖解决方案创建一个外部的lib目录，将部分依赖包放到外部lib目录下，如下图： 2. 修改启动脚本的参数配置脚本，sh将jar包路径传给环境变量中 3. 此时正常启动任务即可， 不需要加-C参数 HDFS上也能看到第三...
- 1.Flink对接kafka出现数据倾斜问题现象使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafk... 1.Flink对接kafka出现数据倾斜问题现象使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafk...
- 1.Flink架构（图-1 Flink Runtime 来自：https://ci.apache.org/projects/flink/flink-docs-release-1.6/concepts/runtime.html）2.基本原理2.1 JobmanagerJobManager（下称为JM）负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中的ta... 1.Flink架构（图-1 Flink Runtime 来自：https://ci.apache.org/projects/flink/flink-docs-release-1.6/concepts/runtime.html）2.基本原理2.1 JobmanagerJobManager（下称为JM）负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中的ta...
- 最近经常有人问到，map阶段container运行时怎么找到具体Task运行的JVM进程1.首先在任务页面点击map，点击log，可以找到对应的containerID2.在map界面，找到container运行的主机节点3.去相应的节点执行ps -ef|grep container_e02_1568949488640_0036_01_000002可以看出，结果有三个进程，那么哪个是对应执行t... 最近经常有人问到，map阶段container运行时怎么找到具体Task运行的JVM进程1.首先在任务页面点击map，点击log，可以找到对应的containerID2.在map界面，找到container运行的主机节点3.去相应的节点执行ps -ef|grep container_e02_1568949488640_0036_01_000002可以看出，结果有三个进程，那么哪个是对应执行t...
- 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目... 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目...
- 本文介绍如何使用永洪bi对接华为FusionInsight MRS ClickHouse 本文介绍如何使用永洪bi对接华为FusionInsight MRS ClickHouse
- 本文介绍如何使用永洪bi对接华为FusionInsight MRS HetuEngine 本文介绍如何使用永洪bi对接华为FusionInsight MRS HetuEngine
- 在服务器中，http 服务是最常用的。服务端：package mainimport ( "fmt" "net/http")func main() { http.HandleFunc("/go", myHandler) http.ListenAndServe("127.0.0.1:8000", nil)}func myHandler(w http.ResponseWriter, r *http... 在服务器中，http 服务是最常用的。服务端：package mainimport ( "fmt" "net/http")func main() { http.HandleFunc("/go", myHandler) http.ListenAndServe("127.0.0.1:8000", nil)}func myHandler(w http.ResponseWriter, r *http...
- 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签