- 本文主要介绍了在MRS集群环境,如何使用flume客户端从日志主机收集日志保存至hdfs指定文件夹 本文主要介绍了在MRS集群环境,如何使用flume客户端从日志主机收集日志保存至hdfs指定文件夹
- （1）今天搭建zookeeper集群出现一个问题，程序起来了，但是在状态下提示Error contacting service. It is probably not running。网上找个几个解决方法都测试过不行，查看发现mas1和mas2设置的目录多了一个文件version-2,其它节点没有这个文件。删除后再启动。就正常了 （2）出现使用ansible使用jps这个命令提示下图情... （1）今天搭建zookeeper集群出现一个问题，程序起来了，但是在状态下提示Error contacting service. It is probably not running。网上找个几个解决方法都测试过不行，查看发现mas1和mas2设置的目录多了一个文件version-2,其它节点没有这个文件。删除后再启动。就正常了 （2）出现使用ansible使用jps这个命令提示下图情...
- 1. 测试使用各软件版本说明1） MRS 2.1.0 安全集群(开启kerberos)2） ECS (Windows Server 2016标准版 64位) ，需和MRS集群网络互通3） DBeaver版本7.1.4 64bit下载地址：https://dbeaver.io/download/4） MIT版本4.1 64bit下载地址：https://web.mit.ed... 1. 测试使用各软件版本说明1） MRS 2.1.0 安全集群(开启kerberos)2） ECS (Windows Server 2016标准版 64位) ，需和MRS集群网络互通3） DBeaver版本7.1.4 64bit下载地址：https://dbeaver.io/download/4） MIT版本4.1 64bit下载地址：https://web.mit.ed...
- 本文主要FusionInsight LLD使用流程以及常见使用函数和LLD工具生成的配置文件做了简单整理介绍，对LLD开发过程常见的问题进行了简单总结，使大家对LLD配置工具有个整体了解。 本文主要FusionInsight LLD使用流程以及常见使用函数和LLD工具生成的配置文件做了简单整理介绍，对LLD开发过程常见的问题进行了简单总结，使大家对LLD配置工具有个整体了解。
- MRS flink官网样例的补充,实现flink读取hbase数据,然后写入hbase MRS flink官网样例的补充,实现flink读取hbase数据,然后写入hbase
- 本文介绍如何控制impala并发度 本文介绍如何控制impala并发度
- impala之前同步元数据需要手动操作，invalidate metadata或者refresh，通过非impala修改数据时，impala无法感知。本文介绍配置impala自动同步元数据的方法，提高impala的易用性。 impala之前同步元数据需要手动操作，invalidate metadata或者refresh，通过非impala修改数据时，impala无法感知。本文介绍配置impala自动同步元数据的方法，提高impala的易用性。
- Elasticsearch 在对大批量数据进行统计、聚合等操作时，性能较差。在大批量数据下的统计、聚合、排序等场景，可借助 Spark 提升运算性能。 Elasticsearch 在对大批量数据进行统计、聚合等操作时，性能较差。在大批量数据下的统计、聚合、排序等场景，可借助 Spark 提升运算性能。
- MRS spark官网样例的补充,实现Kerberos认证集群SparkStreaming对接kafka写入hbase MRS spark官网样例的补充,实现Kerberos认证集群SparkStreaming对接kafka写入hbase
- 依赖第三方库的Pysaprk程序在MRS集群以--master yarn模式运行主要有两种方案:1.在mrs集群的所有core节点，以及提交任务的节点(通常为mrs的master节点)，均安装python3.6以及相关的第三方依赖并且指定pyspark使用的python路径;2.在任务提交节点(通常为mrs的master节点)安装Anaconda3,并在Anaconda3中安装python3.6以 依赖第三方库的Pysaprk程序在MRS集群以--master yarn模式运行主要有两种方案:1.在mrs集群的所有core节点，以及提交任务的节点(通常为mrs的master节点)，均安装python3.6以及相关的第三方依赖并且指定pyspark使用的python路径;2.在任务提交节点(通常为mrs的master节点)安装Anaconda3,并在Anaconda3中安装python3.6以
- MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集 MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集
- 本文对MRS服务中所涉及到的HDFS服务的基本概念、常用命令以及大体原理进行了简单概括总结，目的在于帮助大家对HDFS有个全面认识与了解。 本文对MRS服务中所涉及到的HDFS服务的基本概念、常用命令以及大体原理进行了简单概括总结，目的在于帮助大家对HDFS有个全面认识与了解。
- StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。 StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。
- 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，本文将展开分析HBase负载均衡中SimpleLoadBalancer相关内容。
- ClickHouse是一款开源的面向联机分析处理的列式数据库，具有极致的压缩率和极速查询性能。ClickHouse支持SQL查询，基于大宽表的聚合分析查询性能非常优异，在特定场景下ClickHouse也具备较优的join性能。本文将介绍业界MPP分布式数据库join查询模型，以及ClickHouse的分布式查询原理解析和Colocate join性能表现。 ClickHouse是一款开源的面向联机分析处理的列式数据库，具有极致的压缩率和极速查询性能。ClickHouse支持SQL查询，基于大宽表的聚合分析查询性能非常优异，在特定场景下ClickHouse也具备较优的join性能。本文将介绍业界MPP分布式数据库join查询模型，以及ClickHouse的分布式查询原理解析和Colocate join性能表现。
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签