- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通... 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通...
- 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方... 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方...
- 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。
- 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。
- 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。
- FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。 FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。
- 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr... 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr...
- Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio... Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio...
- 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。
- CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群... CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群...
- 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun... 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun...
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签