- 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。 1.2.2 Loader准备工作1.获取关系型数据库对应的驱动jar包保... 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。 1.2.2 Loader准备工作1.获取关系型数据库对应的驱动jar包保...
- Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro... Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro...
- 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。 基本原理简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左 右），比如：组件元数据。 DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。结构 DBService组件在集群中采用主备模式部署两个DBServer实例，每个DBServer实例包 含三个模块：HA、Database和Floatip。
- 用户在某些业务场景下需要以非界面方式实现FusionInsight Manager系统的登录认证，然后执行用户相关的增、删、查询等操作。本文基于HTTP Basic认证讲解如下功能的实现：登录FusionInsight Manager系统，访问FusionInsight Manager系统并进行查询、添加、删除等操作。 用户在某些业务场景下需要以非界面方式实现FusionInsight Manager系统的登录认证，然后执行用户相关的增、删、查询等操作。本文基于HTTP Basic认证讲解如下功能的实现：登录FusionInsight Manager系统，访问FusionInsight Manager系统并进行查询、添加、删除等操作。
- 1.客户端的使用规范1）客户端禁止配置EsMaster节点的IP和Port：EsMaster实例为重要的管理进程，为确保ES集群稳定性，不允许配置EsMaster节点IP和Port在客户端的IP列表中。EsMaster默认端口为24148，检查客户端不允许配置此端口。2）若未规划EsClient角色，则客户端配置多个EsNode实例的IP和Port列表：客户端需要配置多个EsNode实例的I... 1.客户端的使用规范1）客户端禁止配置EsMaster节点的IP和Port：EsMaster实例为重要的管理进程，为确保ES集群稳定性，不允许配置EsMaster节点IP和Port在客户端的IP列表中。EsMaster默认端口为24148，检查客户端不允许配置此端口。2）若未规划EsClient角色，则客户端配置多个EsNode实例的IP和Port列表：客户端需要配置多个EsNode实例的I...
- 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！ 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！
- HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。 HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。
- 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。
- 通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限 通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限
- Fusionlnsight HD是华为开发的完全开放的大数据计算平台，基于开源社区软件进行功能增强，对外提供大容量的数据存储、查询和分析能力，可运行在任意标准的X86服务器或华为TaiShan服务器上。 Fusionlnsight HD是华为开发的完全开放的大数据计算平台，基于开源社区软件进行功能增强，对外提供大容量的数据存储、查询和分析能力，可运行在任意标准的X86服务器或华为TaiShan服务器上。
- 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。
- 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。
- hbck2使用hbase hbck -help：hbck帮助，执行后反馈输出hbck的帮助文档。没太多有效信息，主要就是说hbase2.x里面不再支持hbck1。使用hbase hbck -j /opt/hbase-hbck2-1.1.0.jar --help 输出帮助信息。bypass[OPTIONS]<PID>…参数说明：中止指定的Procedure任务。当一个Procedure任务长... hbck2使用hbase hbck -help：hbck帮助，执行后反馈输出hbck的帮助文档。没太多有效信息，主要就是说hbase2.x里面不再支持hbck1。使用hbase hbck -j /opt/hbase-hbck2-1.1.0.jar --help 输出帮助信息。bypass[OPTIONS]<PID>…参数说明：中止指定的Procedure任务。当一个Procedure任务长...
- HBaseFsck（hbck）是一种命令行工具，可检查region一致性和表完整性问题并修复损坏。目前HBCK工具有两个版本，HBCK1和HBCK2。两个版本的HBCK工具在设计上已经发生的非常大的变化，在使用方式上也有比较大的差异，两个版本的工具只能使用在对应的内核版本上，无法混用。hbck1（6.5.1版本及以前）hbck1主要用于在hbase1.x版本进行检查or修复。常用命令：-fi... HBaseFsck（hbck）是一种命令行工具，可检查region一致性和表完整性问题并修复损坏。目前HBCK工具有两个版本，HBCK1和HBCK2。两个版本的HBCK工具在设计上已经发生的非常大的变化，在使用方式上也有比较大的差异，两个版本的工具只能使用在对应的内核版本上，无法混用。hbck1（6.5.1版本及以前）hbck1主要用于在hbase1.x版本进行检查or修复。常用命令：-fi...
- 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ... 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ...
上滑加载中
推荐直播
-
SaaS云原生应用典型架构2022/07/07 周四 19:00-20:00
程泽 华为云SaaS专家
SaaS作为一种有效的软件交付形式，让企业IT团队可以将工作的重心从部署和业务系统定制转移到管理业务系统所提供的服务上来；但多租户开发、技术选型等问题会给SaaS应用开发带来挑战。本期直播将助力您破解这些难题，轻松构建云原生SaaS化应用。
去报名 -
崇本英才·智汇吴江· 无人车挑战赛赛题解读2022/07/11 周一 19:00-21:00
岩风 华为云EI开发者生态工程师
本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。
去报名 -
鸿蒙设备如何从0到1联网上云2022/07/11 周一 19:30-20:30
Vz 华为云IoT高级工程师
本课程使开发者具备鸿蒙设备开发基础技能，掌握编译环境搭建、内核开发、驱动子系统开发、网络应用开发等知识点。
即将直播
热门标签