- 本实践通过数据湖工厂（DLF）和数据湖探索（DLI）服务对电影评分原始数据进行分析，输出评分最高和最活跃Top20电影。用户可以学习到DLF脚本编辑、作业编辑、作业调度等功能，以及DLI的SQL基本语法。 本实践通过数据湖工厂（DLF）和数据湖探索（DLI）服务对电影评分原始数据进行分析，输出评分最高和最活跃Top20电影。用户可以学习到DLF脚本编辑、作业编辑、作业调度等功能，以及DLI的SQL基本语法。
- 1 介绍当一个大表和小表进行join，大表的join列是分区列，小表的join列不是分区列时，Hive的动态分区剪裁就会收集小表的join列的集合，发送给tez am, am在为大表计算split时，会根据集合的值过滤大表不需要扫描的分区，从而减少数据扫描量，提高sql执行性能。2 使用针对hive 3.1.0版本，有如下参数与动态分区剪裁有关参数名默认值描述hive.t... 1 介绍当一个大表和小表进行join，大表的join列是分区列，小表的join列不是分区列时，Hive的动态分区剪裁就会收集小表的join列的集合，发送给tez am, am在为大表计算split时，会根据集合的值过滤大表不需要扫描的分区，从而减少数据扫描量，提高sql执行性能。2 使用针对hive 3.1.0版本，有如下参数与动态分区剪裁有关参数名默认值描述hive.t...
- 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作... 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作...
- Spark SQL是Spark系统的核心组件，为来自不同数据源、不同格式的数据提供了结构化的视角，让用户可以使用SQL轻松的从数据中获取有价值的信息。DLI服务提供了强大的Spark SQL查询分析能力，并且全面兼容Spark SQL语法。本文将介绍Spark SQL的运行流程，以及过程中的各个重要组成部分。Spark SQL是什么在Spark中，Spark SQL并不仅仅是狭隘的SQL... Spark SQL是Spark系统的核心组件，为来自不同数据源、不同格式的数据提供了结构化的视角，让用户可以使用SQL轻松的从数据中获取有价值的信息。DLI服务提供了强大的Spark SQL查询分析能力，并且全面兼容Spark SQL语法。本文将介绍Spark SQL的运行流程，以及过程中的各个重要组成部分。Spark SQL是什么在Spark中，Spark SQL并不仅仅是狭隘的SQL...
- 作为当前最主流的大数据计算引擎之一，Spark提供了Scala、Java、Python、R及SQL等多种语言的高级API，用户可以通过这些API，快速高效地实现自己的大规模数据分析应用。本文将基于Scala语言，介绍如何编写你的第一个Spark程序，并运行到DLI之上。下面，跟着本文，开启你的Spark之旅吧。 作为当前最主流的大数据计算引擎之一，Spark提供了Scala、Java、Python、R及SQL等多种语言的高级API，用户可以通过这些API，快速高效地实现自己的大规模数据分析应用。本文将基于Scala语言，介绍如何编写你的第一个Spark程序，并运行到DLI之上。下面，跟着本文，开启你的Spark之旅吧。
- 导读： 麦肯锡率先提出大数据的概念，并称数据已经渗透到当今的各行各业，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费盈余浪潮的到来。 华为云数据湖探索（后文简称DLI）服务小组在多年的大数据计算实践中意识到，大数据真正难以对付的挑战来自于数据类型多样(variety)、要求及时响应(velocity)和数据的不确定性(veracity)。... 导读： 麦肯锡率先提出大数据的概念，并称数据已经渗透到当今的各行各业，成为重要的生产因素。人们对于大数据的挖掘和运用，预示着新一波生产力增长和消费盈余浪潮的到来。 华为云数据湖探索（后文简称DLI）服务小组在多年的大数据计算实践中意识到，大数据真正难以对付的挑战来自于数据类型多样(variety)、要求及时响应(velocity)和数据的不确定性(veracity)。...
- 今年年初这场突如其来的疫情，让我们早晨醒来打开手机的第一件事情，从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数，看看国内外疫情分布的地图。丁香医生也因为快速上线疫情实时动态板块，成为了大家了解疫情发展的首选阵地。 今年年初这场突如其来的疫情，让我们早晨醒来打开手机的第一件事情，从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数，看看国内外疫情分布的地图。丁香医生也因为快速上线疫情实时动态板块，成为了大家了解疫情发展的首选阵地。
- 分布式系统，数据库，大数据，云计算，云存储 分布式系统，数据库，大数据，云计算，云存储
- 水是生命资源，水生态分析监测尤为重要，如何通过对数据的采集、分析、挖掘为我们揭开蔚蓝世界的神秘面纱，由亨通海洋装备有限公司首席科学家魏升慧女士为我们带来“向蔚蓝世界进军，打造水生态感知网”的主题演讲。 水是生命资源，水生态分析监测尤为重要，如何通过对数据的采集、分析、挖掘为我们揭开蔚蓝世界的神秘面纱，由亨通海洋装备有限公司首席科学家魏升慧女士为我们带来“向蔚蓝世界进军，打造水生态感知网”的主题演讲。
- 浙江移动携手华为FusionInsight打造0业务中断的融合大数据平台 数字经济时代，运营商面临产业升级。浙江移动以数据为驱动，以华为FusionInsight融合大数据平台为底座，打造一站式智慧运营平台，拓展新的产业空间。对内，实现智慧运营（精准营销，客流分析，客流分析，自动运维…），降低运营成本，优化客户体验；对外，发展产业生态，打造多元服务(商铺选址, 交通规划, 广... 浙江移动携手华为FusionInsight打造0业务中断的融合大数据平台 数字经济时代，运营商面临产业升级。浙江移动以数据为驱动，以华为FusionInsight融合大数据平台为底座，打造一站式智慧运营平台，拓展新的产业空间。对内，实现智慧运营（精准营销，客流分析，客流分析，自动运维…），降低运营成本，优化客户体验；对外，发展产业生态，打造多元服务(商铺选址, 交通规划, 广...
- 华为在广州举办关于云平台的发布，各位嘉宾也见证了这样一个生态联盟的发布，同时今天还有一个会也在北京召开“中国两化融合推进大会”。其实可以看到，工业云也好，两化融合也好，智能制造也好，非常的热门。广东省也发布了最新的智能制造的规划，所以今天邀请到政府的领导已及华为、三家智造企业，也包括我们智造企业发展起来的IT公司，从不同的角度进行研讨。 华为在广州举办关于云平台的发布，各位嘉宾也见证了这样一个生态联盟的发布，同时今天还有一个会也在北京召开“中国两化融合推进大会”。其实可以看到，工业云也好，两化融合也好，智能制造也好，非常的热门。广东省也发布了最新的智能制造的规划，所以今天邀请到政府的领导已及华为、三家智造企业，也包括我们智造企业发展起来的IT公司，从不同的角度进行研讨。
- 封面故事 | 孙浩峰自从亚马逊推出基础架构即服务（IaaS）并获得成功之后，越来越多的竞争者争相进入到IaaS竞争的领域，而作为一项最基础的云服务，如果云提供商的IaaS服务无法令用户满意，那么用户就会毫不犹豫地放弃当前的云提供商。因此，IaaS之于云提供商的重要性不言而喻。同样，对于用户而言，选择具有高品质IaaS服务的云提供商则需要更加谨慎，因为虽然可以再次选择，但时间成本和错失的市场机... 封面故事 | 孙浩峰自从亚马逊推出基础架构即服务（IaaS）并获得成功之后，越来越多的竞争者争相进入到IaaS竞争的领域，而作为一项最基础的云服务，如果云提供商的IaaS服务无法令用户满意，那么用户就会毫不犹豫地放弃当前的云提供商。因此，IaaS之于云提供商的重要性不言而喻。同样，对于用户而言，选择具有高品质IaaS服务的云提供商则需要更加谨慎，因为虽然可以再次选择，但时间成本和错失的市场机...
- 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。
- 大数据之路顺应人类科技的进步而诞生，一直顺风顺水，不到20年时间，已渗透到社会生产和人们生活的方方面面。然而，伴随着信息量的指数级增长，大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题，导致唱衰之声此起彼伏。而近年来兴起的容器技术，以其轻量化、易迁移、扩容快等优势，结合计算存储分离的分布式架构，可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场... 大数据之路顺应人类科技的进步而诞生，一直顺风顺水，不到20年时间，已渗透到社会生产和人们生活的方方面面。然而，伴随着信息量的指数级增长，大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题，导致唱衰之声此起彼伏。而近年来兴起的容器技术，以其轻量化、易迁移、扩容快等优势，结合计算存储分离的分布式架构，可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场...
- 近年来，全球物联网各种技术层出不穷，尤其是低功耗广域接入（LPWAN）技术，发展得非常迅猛。在低功耗广域物联网领域，行业主要以 NB-IoT 与 LoRa 两种技术为主，支撑各行各业互联，也开创智能电表、共享空调等多种创新业务。业**士经常将两种技术拿来进行比较，哪种技术更适合国内市场发展的讨论也在持续，对于要建设物联网的垂直行业企业而言，如何选择两种技术，本篇文章试着来找一下答案。LoRa... 近年来，全球物联网各种技术层出不穷，尤其是低功耗广域接入（LPWAN）技术，发展得非常迅猛。在低功耗广域物联网领域，行业主要以 NB-IoT 与 LoRa 两种技术为主，支撑各行各业互联，也开创智能电表、共享空调等多种创新业务。业**士经常将两种技术拿来进行比较，哪种技术更适合国内市场发展的讨论也在持续，对于要建设物联网的垂直行业企业而言，如何选择两种技术，本篇文章试着来找一下答案。LoRa...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签