- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。 Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。
- 本期精彩看点：华为海外女科学家为您揭秘GaussDB(for MySQL)云栈垂直集成；低代码源于不断进步的硬件算力和软件开发技术，正在开创下一个崭新的IT时代；深入理解文字识别，从技术分析到论文解读。 本期精彩看点：华为海外女科学家为您揭秘GaussDB(for MySQL)云栈垂直集成；低代码源于不断进步的硬件算力和软件开发技术，正在开创下一个崭新的IT时代；深入理解文字识别，从技术分析到论文解读。
- 使用DLI Flink SQL配合DMS Kafka、RDS MySQL简单高效地实现电商业务实时数据的接入、处理、存储与展示。 使用DLI Flink SQL配合DMS Kafka、RDS MySQL简单高效地实现电商业务实时数据的接入、处理、存储与展示。
- 反压是 Flink 应用运维中常见的问题，它不仅意味着性能瓶颈还可能导致作业的不稳定性。 反压是 Flink 应用运维中常见的问题，它不仅意味着性能瓶颈还可能导致作业的不稳定性。
- 前一篇博客介绍了Spark-Redis入门篇：包括一些基础概念和重要的类、方法。Spark-Redis是用Spark在redis上面进行读写数据操作的包。其支持redis的所有数据结构。由于redis是基于内存的数据库，稳定性并不是很高，尤其是standalone模式下的redis。于是工作中在使用Spark-Redis时也会碰到很多问题，尤其是执行海量数据插入与查询的场景中。 前一篇博客介绍了Spark-Redis入门篇：包括一些基础概念和重要的类、方法。Spark-Redis是用Spark在redis上面进行读写数据操作的包。其支持redis的所有数据结构。由于redis是基于内存的数据库，稳定性并不是很高，尤其是standalone模式下的redis。于是工作中在使用Spark-Redis时也会碰到很多问题，尤其是执行海量数据插入与查询的场景中。
- 一、Serverless简介 云计算的不断发展，涌现出很多改变传统IT架构和运维方式的新技术，而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力，它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里，帮助企业“降本增效”是技术变革永恒的主题。Serverless架构的出现，带来了跨越式的变革。Serverless下主机管理、操作系统管理、基础软件的部... 一、Serverless简介 云计算的不断发展，涌现出很多改变传统IT架构和运维方式的新技术，而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力，它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里，帮助企业“降本增效”是技术变革永恒的主题。Serverless架构的出现，带来了跨越式的变革。Serverless下主机管理、操作系统管理、基础软件的部...
- 本文将介绍如何基于 本文将介绍如何基于
- 本文将介绍如何基于ModelArts Notebook连接DLI远程Spark集群，并基于Sparkmagic魔法命令将本地的iris数据集发送至Spark集群，进而基于PySpark进行简单的数据探索性分析、特征工程和构建随机森林模型进行预测。 本文将介绍如何基于ModelArts Notebook连接DLI远程Spark集群，并基于Sparkmagic魔法命令将本地的iris数据集发送至Spark集群，进而基于PySpark进行简单的数据探索性分析、特征工程和构建随机森林模型进行预测。
- 带你体验一下数据湖DLI，Flink SQL进行电商实时业务数据分析，过程还是比较复杂，所需的资源也比较多，需要提前准备ECS（弹性云服务器）、VPC（虚拟私有云）、DMS（分布式消息服务）、RDS（云数据库）、DLI（数据湖探索）、EIP（弹性公网IP），如果这些资源没有使用过最好先了解一下再来体验。 带你体验一下数据湖DLI，Flink SQL进行电商实时业务数据分析，过程还是比较复杂，所需的资源也比较多，需要提前准备ECS（弹性云服务器）、VPC（虚拟私有云）、DMS（分布式消息服务）、RDS（云数据库）、DLI（数据湖探索）、EIP（弹性公网IP），如果这些资源没有使用过最好先了解一下再来体验。
- 前言2021年10月24日☼ 星期日 辛丑年（牛） 九月（戊戌） 十九（乙巳）利用华为的大数据技术快速探索星际奥秘。体验步骤一、准备环境开通对象存储服务（OBS）对象存储服务（Object Storage Service，OBS）是一个基于对象的存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，使用时无需考虑容量限制，并且提供多种存储类型供选择，满足客户各类业务场景诉求产品--存... 前言2021年10月24日☼ 星期日 辛丑年（牛） 九月（戊戌） 十九（乙巳）利用华为的大数据技术快速探索星际奥秘。体验步骤一、准备环境开通对象存储服务（OBS）对象存储服务（Object Storage Service，OBS）是一个基于对象的存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，使用时无需考虑容量限制，并且提供多种存储类型供选择，满足客户各类业务场景诉求产品--存...
- 在Modelarts上编写代码，下发到dli上执行 在Modelarts上编写代码，下发到dli上执行
- 在日常的工作中，我们会接触到各种各样的数据库，他们存储的数据也是各式各样。当我们使用Spark去处理数据的时候，我们常常会遇到数据来源于不同数据源的情况。如果重新加载和保存数据的话，会非常的麻烦，还浪费空间，而且很多时候还需要考虑数据格式转换的问题。本文主要为讲解Spark Datasource这个连接外部数据源的框架。 在日常的工作中，我们会接触到各种各样的数据库，他们存储的数据也是各式各样。当我们使用Spark去处理数据的时候，我们常常会遇到数据来源于不同数据源的情况。如果重新加载和保存数据的话，会非常的麻烦，还浪费空间，而且很多时候还需要考虑数据格式转换的问题。本文主要为讲解Spark Datasource这个连接外部数据源的框架。
- 根据《使用DGC实现每日动态发布电影排行榜》操作指导内容完成项目实践；操作类作业若未领取到免费资源或未领取到代金券请勿操作，创建服务作业或实例的区域需与领取套餐区域保持一致；建议操作时间1-2小时，结束后立即删除有关服务实例、作业、资源，避免扣费！！！ 如：a.删除OBS相关资源；b.删除DLI作业与队列、数据库资源；c.删除消息通知服务；d.删除DGC作业与脚本资源等；本实践通过数据开发和... 根据《使用DGC实现每日动态发布电影排行榜》操作指导内容完成项目实践；操作类作业若未领取到免费资源或未领取到代金券请勿操作，创建服务作业或实例的区域需与领取套餐区域保持一致；建议操作时间1-2小时，结束后立即删除有关服务实例、作业、资源，避免扣费！！！ 如：a.删除OBS相关资源；b.删除DLI作业与队列、数据库资源；c.删除消息通知服务；d.删除DGC作业与脚本资源等；本实践通过数据开发和...
- 大数据分析Day04使用DLI Flink SQL进行电商实时业务数据分析 场景描述多种方式接入：web方式访问、app的方式访问、微信小程序访问电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据假设平台已经将每个商品的订单信息实时写入Kafka中，这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额... 大数据分析Day04使用DLI Flink SQL进行电商实时业务数据分析 场景描述多种方式接入：web方式访问、app的方式访问、微信小程序访问电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据假设平台已经将每个商品的订单信息实时写入Kafka中，这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额...
- Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog... Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog...
上滑加载中
推荐直播
-
手把手教你在 CodeArts 上部署敏捷流水线2024/12/31 周二 16:30-18:00
Jerry 华为云生态技术讲师
CodeArts的适用场景以及如何从CodeArts Pipeline出发，一步步添加关联工具，最后让整个流水线流动起来，一起来动手试试吧。
即将直播 -
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名
热门标签