- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通... 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通...
- 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方... 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方...
- 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。
- 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。
- 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。
- FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。 FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。
- 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr... 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr...
- Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio... Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio...
- 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。
- CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群... CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群...
- 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun... 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun...
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签