- 简单说一下HBase数据过程中的增量迁移 简单说一下HBase数据过程中的增量迁移
- Grafana+Prometheus是目前非常流行监控方案，图形化展示非常强大。 Grafana+Prometheus是目前非常流行监控方案，图形化展示非常强大。
- 在自建Spark集群安装完后，当运行Spark On Yarn的作业运行时以及完成后，无法访问Task在Yarn上的日志。 在自建Spark集群安装完后，当运行Spark On Yarn的作业运行时以及完成后，无法访问Task在Yarn上的日志。
- Actor模型作为一种高性能网络中的并行处理方式由Carl Hewitt几十年前提出－高性能网络环境在当时还不可用。如今，硬件和基础设施的能力已经赶上并超越了Hewitt的愿景。因此，高要求的分布式系统的建造者遇到了不能完全由传统的面向对象编程(OOP)模型解决的挑战，但这可以从Actor模型中获益。今天，Actor模型不仅被认为是高效的解决方案——这已经被世界上要求最高的应用所检验。 Actor模型作为一种高性能网络中的并行处理方式由Carl Hewitt几十年前提出－高性能网络环境在当时还不可用。如今，硬件和基础设施的能力已经赶上并超越了Hewitt的愿景。因此，高要求的分布式系统的建造者遇到了不能完全由传统的面向对象编程(OOP)模型解决的挑战，但这可以从Actor模型中获益。今天，Actor模型不仅被认为是高效的解决方案——这已经被世界上要求最高的应用所检验。
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们... 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们...
- 本文介绍如何使用Flink将流数据入库到CarbonData表，并使用Spark SQL实时查询CarbonData表数据 本文介绍如何使用Flink将流数据入库到CarbonData表，并使用Spark SQL实时查询CarbonData表数据
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS... 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS...
- HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，本文将根据实际的Snapshot操作，来讲述打完快照后底层HDFS的文件变化 HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，本文将根据实际的Snapshot操作，来讲述打完快照后底层HDFS的文件变化
- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- 本章讲解了Hadoop WritableUtils的主要代码实现 本章讲解了Hadoop WritableUtils的主要代码实现
- hive testbench 运行时遇到failed with status code 139. hive testbench 运行时遇到failed with status code 139.
上滑加载中
推荐直播
-
对话泛微：数智进化，解码企业“新办公”2022/08/10 周三 19:00-20:00
晏成 泛微战略合作部总监/杨传江 泛微网络高级项目经理
告别纸张，深度挖掘数据价值，协同在线办公正在改变千行百业，成为企业运转提速乃至整体管理水平提升的关键。本期直播我们将对话泛微专家，共同走进数字时代，企业智能办公的最新实践！
回顾中 -
-
企业数字化能碳AI管控平台2022/08/11 周四 16:00-17:00
王勇 技术中心总经理
本次直播分享从企业能源/双碳管理面临的挑战出发，立足企业的关注点，提供专业碳资产管理，助力企业节能降耗。
即将直播
热门标签