- 一、生产问题分析思路 二、数据无法正常写入，使用客户端无法正常生产数据首先使用生产命令进行生产测试。看是否是C80版本，确认是否有打入kafka死锁补丁，如果没有请打入。Kafka的服务端节点是否开启了DNS，如果开启请参照《kafka启动候不定时出现"恢复中"状态》解决。 根据章节查看topic是否正常（2.2章节），如果不正常优先恢复topic，参考维护宝典Topic操作常见故障章节... 一、生产问题分析思路 二、数据无法正常写入，使用客户端无法正常生产数据首先使用生产命令进行生产测试。看是否是C80版本，确认是否有打入kafka死锁补丁，如果没有请打入。Kafka的服务端节点是否开启了DNS，如果开启请参照《kafka启动候不定时出现"恢复中"状态》解决。 根据章节查看topic是否正常（2.2章节），如果不正常优先恢复topic，参考维护宝典Topic操作常见故障章节...
- Kafka集群在使用过程中会出现各种各样的操作场景，修改配置参数、集群异常等各种重启场景等，操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置，点击保存配置后，不要勾选“重新启动受影响的服务或实例”。重启kafka进程前，需要停止生产端的业务，否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后，等待1~2分钟，停止kaf... Kafka集群在使用过程中会出现各种各样的操作场景，修改配置参数、集群异常等各种重启场景等，操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置，点击保存配置后，不要勾选“重新启动受影响的服务或实例”。重启kafka进程前，需要停止生产端的业务，否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后，等待1~2分钟，停止kaf...
- FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等... FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等...
- 背景Apache Superset是一款由 Airbnb 开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid、ClickHouse等，且支持自定义仪表盘，可作为可视化工具来使用。 前提条件完成Apache Superset的安装... 背景Apache Superset是一款由 Airbnb 开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid、ClickHouse等，且支持自定义仪表盘，可作为可视化工具来使用。 前提条件完成Apache Superset的安装...
- 5月20日，本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。进入智能数据时代，业界建设数据湖的十大共识 经过数十年的快速发展，大数据处理技术已日渐成熟，围绕数... 5月20日，本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。进入智能数据时代，业界建设数据湖的十大共识 经过数十年的快速发展，大数据处理技术已日渐成熟，围绕数...
- 1. 集群合理的规格从业务侧来看，主要是控制集群的shard数量，数据存储量，segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例，管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB，最多不超过50G3. 单集群数据实例数推荐300以内，否... 1. 集群合理的规格从业务侧来看，主要是控制集群的shard数量，数据存储量，segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例，管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB，最多不超过50G3. 单集群数据实例数推荐300以内，否...
- Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine
- 伴随政企客户数字化转型进入深水区，数据激增带来更多的数据结构变化，增加了数据分析场景的复杂性，为政企数字化转型带来了更多的机遇和挑战，华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案，一个架构构建逻辑、实时、离线三种数据湖，支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景，使政企高效用数、简化用数 伴随政企客户数字化转型进入深水区，数据激增带来更多的数据结构变化，增加了数据分析场景的复杂性，为政企数字化转型带来了更多的机遇和挑战，华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案，一个架构构建逻辑、实时、离线三种数据湖，支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景，使政企高效用数、简化用数
- 前提条件：FusionInsight HD 集群安装完毕，集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤： 步骤1：进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath，新建驱动存放路径，例如MRS，并将hetu的JDBC驱动放... 前提条件：FusionInsight HD 集群安装完毕，集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤： 步骤1：进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath，新建驱动存放路径，例如MRS，并将hetu的JDBC驱动放...
- 近日， Frost&Sullivan弗若斯特沙利文发布了《2020年中国数据管理解决方案市场报告》，从产品创新能力、成长能力、基础能力三个维度对主流大数据厂商进行全面评估，报告显示华为云位居“领导者”位置，在中国大数据厂商中全面领先。 近日， Frost&Sullivan弗若斯特沙利文发布了《2020年中国数据管理解决方案市场报告》，从产品创新能力、成长能力、基础能力三个维度对主流大数据厂商进行全面评估，报告显示华为云位居“领导者”位置，在中国大数据厂商中全面领先。
- 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu... 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
- 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件
上滑加载中
推荐直播
-
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名 -
热门标签