- 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
- 在实际的大数据工程部署中,多个业务部门经常需要运行多个数据应用,在搭建Hadoop集群时,经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租,来进行大数据集群划分和资源管理。 在实际的大数据工程部署中,多个业务部门经常需要运行多个数据应用,在搭建Hadoop集群时,经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租,来进行大数据集群划分和资源管理。
- 使用yarn运行任务,有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。 使用yarn运行任务,有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
- 本文主要介绍了MapTask和ReduceTask并行度的决定机制 本文主要介绍了MapTask和ReduceTask并行度的决定机制
- 本文主要介绍了两种HBase跨集群数据迁移的方法 本文主要介绍了两种HBase跨集群数据迁移的方法
- MRS 2.x版本集群配置presto查询kudu MRS 2.x版本集群配置presto查询kudu
- MRS集群Hive对接LDAP MRS集群Hive对接LDAP
- JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。 如果客户需要使用额外的jar包来执行sql语句(例如:自定义UDF)则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。 如果客户需要使用额外的jar包来执行sql语句(例如:自定义UDF)则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。
- 操作场景Flume采集文件内容导入到habse前提条件已创建启用Kerberos认证的流集群。已在日志生成节点安装Flume客户端,请参见安装Flume客户端。已配置网络,使日志生成节点与流集群互通。操作步骤(1) 从HDFS客户端拷贝配置文件core-site.xml,hdfs-site.xml到Flume Client的配置目录 " /opt/FlumeClient/fusionins... 操作场景Flume采集文件内容导入到habse前提条件已创建启用Kerberos认证的流集群。已在日志生成节点安装Flume客户端,请参见安装Flume客户端。已配置网络,使日志生成节点与流集群互通。操作步骤(1) 从HDFS客户端拷贝配置文件core-site.xml,hdfs-site.xml到Flume Client的配置目录 " /opt/FlumeClient/fusionins...
- Jupyter调用Spark Sql指导 Jupyter调用Spark Sql指导
- 本文用于指导在MRS 2.x版本非kerberos集群中使用Hue连接开启ldap认证的impala 本文用于指导在MRS 2.x版本非kerberos集群中使用Hue连接开启ldap认证的impala
- MRS普通集群Impala开启ldap认证 MRS普通集群Impala开启ldap认证
- Spark内存管理的策略主要分为静态内存管理和统一内存管理两种,本文主要对这两种内存管理策略进行研究 Spark内存管理的策略主要分为静态内存管理和统一内存管理两种,本文主要对这两种内存管理策略进行研究
- 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的Yandex公司,2016年开源。它独立于Hadoop大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准SQL协议的接口,支持JDBC、ODBC驱动,使用C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明... 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的Yandex公司,2016年开源。它独立于Hadoop大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准SQL协议的接口,支持JDBC、ODBC驱动,使用C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明...
- MRS 2.x 普通集群通过密码验证访问presto MRS 2.x 普通集群通过密码验证访问presto
上滑加载中
推荐直播
-
DeepSeek 深入浅出白话解读
2025/02/12 周三 17:00-18:00
Tim-华为云中国区AI解决方案总监
DeepSeek的来龙去脉,为什么DeepSeek那么强?哪些是它的领先优势?它是怎么发展过来的?在华为云上能不能用到DeepSeek?本节课将一一解读。
即将直播
热门标签