- 简单说一下HBase数据过程中的增量迁移 简单说一下HBase数据过程中的增量迁移
- Grafana+Prometheus是目前非常流行监控方案，图形化展示非常强大。 Grafana+Prometheus是目前非常流行监控方案，图形化展示非常强大。
- 在自建Spark集群安装完后，当运行Spark On Yarn的作业运行时以及完成后，无法访问Task在Yarn上的日志。 在自建Spark集群安装完后，当运行Spark On Yarn的作业运行时以及完成后，无法访问Task在Yarn上的日志。
- Actor模型作为一种高性能网络中的并行处理方式由Carl Hewitt几十年前提出－高性能网络环境在当时还不可用。如今，硬件和基础设施的能力已经赶上并超越了Hewitt的愿景。因此，高要求的分布式系统的建造者遇到了不能完全由传统的面向对象编程(OOP)模型解决的挑战，但这可以从Actor模型中获益。今天，Actor模型不仅被认为是高效的解决方案——这已经被世界上要求最高的应用所检验。 Actor模型作为一种高性能网络中的并行处理方式由Carl Hewitt几十年前提出－高性能网络环境在当时还不可用。如今，硬件和基础设施的能力已经赶上并超越了Hewitt的愿景。因此，高要求的分布式系统的建造者遇到了不能完全由传统的面向对象编程(OOP)模型解决的挑战，但这可以从Actor模型中获益。今天，Actor模型不仅被认为是高效的解决方案——这已经被世界上要求最高的应用所检验。
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们... 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们...
- 本文介绍如何使用Flink将流数据入库到CarbonData表，并使用Spark SQL实时查询CarbonData表数据 本文介绍如何使用Flink将流数据入库到CarbonData表，并使用Spark SQL实时查询CarbonData表数据
- hbase 的复制方式是 master-push 方式，即主集群推的方式，主要是因为每个rs都有自己的WAL。 一个master集群可以复制给多个从集群，复制是异步的，运行集群分布在不同的地方，这也意味着从集群和主集群的数据不是完全一致的，它的目标就是最终一致性 hbase 的复制方式是 master-push 方式，即主集群推的方式，主要是因为每个rs都有自己的WAL。 一个master集群可以复制给多个从集群，复制是异步的，运行集群分布在不同的地方，这也意味着从集群和主集群的数据不是完全一致的，它的目标就是最终一致性
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS... 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS...
- HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，本文将根据实际的Snapshot操作，来讲述打完快照后底层HDFS的文件变化 HBase的Snapshot功能可以在不复制数据的情况下，快速克隆一张表，本文将根据实际的Snapshot操作，来讲述打完快照后底层HDFS的文件变化
- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- 本章讲解了Hadoop WritableUtils的主要代码实现 本章讲解了Hadoop WritableUtils的主要代码实现
上滑加载中
推荐直播
-
CodeArts Req 让繁杂的研发需求简单化管理2022/12/21 周三 16:00-17:30
熊松林 华为云Paas DTSE技术布道师
华为云自研的需求管理工具CodeArts Req，已支持华为13万研发人员需求协作，管理5000多万需求。本期直播将结合业界真实案例探索需求管理的重要性；并对华为云CodeArts Req 如何让需求管理化繁为简，做深入的能力解读。
回顾中 -
用ModelBox框架，打造AI云宝玩偶2022/12/21 周三 19:00-20:00
超哥 华为云AI开发工程师
本期直播由华为云AI开发工程师超哥老师，基于ModelBox框架，结合华为云的吉祥物-云宝和开发板，实现AI语音和姿态识别。
回顾中 -
热门标签