- 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。
- IoTDB时序数据库聚焦海量杂时序数据的处理，具有“专、快、稳、省、易”五大特点，解决通用数据库和列式数据库在超大规模复杂时序场景的功能短板和性能瓶颈，轻松应对海量负责时间序列数据的处理，并能实现一套引擎打通云边端的时序数据分析。MRS IoTDB是华为云FusionInsight MRS云原生数据湖中的时序数据库组件，近期将在FusionInsight8.1.0版本重磅推出高性能企业级时序数据库 IoTDB时序数据库聚焦海量杂时序数据的处理，具有“专、快、稳、省、易”五大特点，解决通用数据库和列式数据库在超大规模复杂时序场景的功能短板和性能瓶颈，轻松应对海量负责时间序列数据的处理，并能实现一套引擎打通云边端的时序数据分析。MRS IoTDB是华为云FusionInsight MRS云原生数据湖中的时序数据库组件，近期将在FusionInsight8.1.0版本重磅推出高性能企业级时序数据库
- MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。 MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。
- HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。
- 1.1 分析导图 1.2 Topic的describe信息异常，出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况，topic只能强制删除后重新创建，方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none，需要... 1.1 分析导图 1.2 Topic的describe信息异常，出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况，topic只能强制删除后重新创建，方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none，需要...
- 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。 1.2.2 Loader准备工作1.获取关系型数据库对应的驱动jar包保... 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。 1.2.2 Loader准备工作1.获取关系型数据库对应的驱动jar包保...
- Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro... Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro...
- 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。
- 用户在某些业务场景下需要以非界面方式实现FusionInsight Manager系统的登录认证，然后执行用户相关的增、删、查询等操作。本文基于HTTP Basic认证讲解如下功能的实现：登录FusionInsight Manager系统，访问FusionInsight Manager系统并进行查询、添加、删除等操作。 用户在某些业务场景下需要以非界面方式实现FusionInsight Manager系统的登录认证，然后执行用户相关的增、删、查询等操作。本文基于HTTP Basic认证讲解如下功能的实现：登录FusionInsight Manager系统，访问FusionInsight Manager系统并进行查询、添加、删除等操作。
- 1.客户端的使用规范1）客户端禁止配置EsMaster节点的IP和Port：EsMaster实例为重要的管理进程，为确保ES集群稳定性，不允许配置EsMaster节点IP和Port在客户端的IP列表中。EsMaster默认端口为24148，检查客户端不允许配置此端口。2）若未规划EsClient角色，则客户端配置多个EsNode实例的IP和Port列表：客户端需要配置多个EsNode实例的I... 1.客户端的使用规范1）客户端禁止配置EsMaster节点的IP和Port：EsMaster实例为重要的管理进程，为确保ES集群稳定性，不允许配置EsMaster节点IP和Port在客户端的IP列表中。EsMaster默认端口为24148，检查客户端不允许配置此端口。2）若未规划EsClient角色，则客户端配置多个EsNode实例的IP和Port列表：客户端需要配置多个EsNode实例的I...
- 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！ 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！
- HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。 HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。
- 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。
- 通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限 通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限
- Fusionlnsight HD是华为开发的完全开放的大数据计算平台，基于开源社区软件进行功能增强，对外提供大容量的数据存储、查询和分析能力，可运行在任意标准的X86服务器或华为TaiShan服务器上。 Fusionlnsight HD是华为开发的完全开放的大数据计算平台，基于开源社区软件进行功能增强，对外提供大容量的数据存储、查询和分析能力，可运行在任意标准的X86服务器或华为TaiShan服务器上。
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签