- 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。
- 该文章主要对DLI中Flink OpenSource SQL的使用场景样例进行介绍。 该文章主要对DLI中Flink OpenSource SQL的使用场景样例进行介绍。
- 为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI引擎，实现智能… 为支撑电商公司梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景，华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景，并无缝对接上层AI引擎，实现智能…
- 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶... 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶...
- 1. 问题描述使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。2. 初步分析该表的结果是由两表join后生成。经分析，join的结果产生了数据倾斜，且倾斜key为null。Join后每个task写一个文件，所以partition key为null的那个task将大量的null... 1. 问题描述使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。2. 初步分析该表的结果是由两表join后生成。经分析，join的结果产生了数据倾斜，且倾斜key为null。Join后每个task写一个文件，所以partition key为null的那个task将大量的null...
- 当一个关系中的所有分类都是不可再分的数据项时，该关系是规范化的。不可再分的数据项，即不存在组合数据项和多项数据项。一个低一级的关系模式，通过模式分解可以转换为若干高一级范式的关系模式的集合，这个过程就叫规范化。 当一个关系中的所有分类都是不可再分的数据项时，该关系是规范化的。不可再分的数据项，即不存在组合数据项和多项数据项。一个低一级的关系模式，通过模式分解可以转换为若干高一级范式的关系模式的集合，这个过程就叫规范化。
- 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！ 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！
- HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。 HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。
- 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。
- 如何将各种大数据技术栈整合在一起，发挥出大数据技术的最大价值成为业界都在关注的问题。 如何将各种大数据技术栈整合在一起，发挥出大数据技术的最大价值成为业界都在关注的问题。
- 使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。 使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。
- 系列文章目录《考取HCIA证书，看我就够了》1.华为职业认证体系及HCIA介绍2.HCIA-IoT篇（上）物联网起源与发展3.待创作如果你是第一次观看本系列文章，建议先阅读下第一篇华为职业认证体系及HCIA介绍本文目录前言一、什么是物联网？ 1.1物联网定义 1.2物联网的结构二、物联网怎么来的？三、物联网是怎么发展的？ 3.1物联网发展的三大类型 3.2物联网发展的三件大事 3.... 系列文章目录《考取HCIA证书，看我就够了》1.华为职业认证体系及HCIA介绍2.HCIA-IoT篇（上）物联网起源与发展3.待创作如果你是第一次观看本系列文章，建议先阅读下第一篇华为职业认证体系及HCIA介绍本文目录前言一、什么是物联网？ 1.1物联网定义 1.2物联网的结构二、物联网怎么来的？三、物联网是怎么发展的？ 3.1物联网发展的三大类型 3.2物联网发展的三件大事 3....
- 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-... 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-...
- 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝... 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝...
- 学习大数据，就必须要有一台 Unix 或者 Linux 系统的电脑，苹果电脑首选就是最佳的选择，如果条件不支持，在 Windows 电脑上安装虚拟机 VMWare，再在 VMWare 里面安装 Linux 系统也是一种不错的选择，下面白鹿为大家奉上在 Windows 上安装 VMware 虚拟机安装教程及在 VMware 虚拟机上安装 Ubuntu18.04.3 优麒麟版完整步骤。 学习大数据，就必须要有一台 Unix 或者 Linux 系统的电脑，苹果电脑首选就是最佳的选择，如果条件不支持，在 Windows 电脑上安装虚拟机 VMWare，再在 VMWare 里面安装 Linux 系统也是一种不错的选择，下面白鹿为大家奉上在 Windows 上安装 VMware 虚拟机安装教程及在 VMware 虚拟机上安装 Ubuntu18.04.3 优麒麟版完整步骤。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签