- Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog... Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog...
- 在大家练习算法题的收获， 究竟应该从中收获什么？ 在大家练习算法题的收获， 究竟应该从中收获什么？
- ModelArts最新支持了图像分割标注，用户可以： - 手动标注物体轮廓，支持多点标注物体。 - 使用交互式智能标注加速标注，只需要标注四个极点：最上、最下、最左、最右四个点，然后ModelArts就会调用内置的图像分割算法，获取图像分割的边缘点，用户只需要确认或者稍作调整即可完成标注。 图像分割标注结果可用于训练得到用于识别图片中每个物体轮廓的模型。 ModelArts最新支持了图像分割标注，用户可以： - 手动标注物体轮廓，支持多点标注物体。 - 使用交互式智能标注加速标注，只需要标注四个极点：最上、最下、最左、最右四个点，然后ModelArts就会调用内置的图像分割算法，获取图像分割的边缘点，用户只需要确认或者稍作调整即可完成标注。 图像分割标注结果可用于训练得到用于识别图片中每个物体轮廓的模型。
- 本文介绍了动态规划法的基本概念和基本特征，通过详细解析动态规划法的特征，给出判断问题是否使用动态规划法结题的思路。并根据具体问题，给出了分解问题的步骤。希望读者能了解掌握动态规划法这一基础算法。 本文介绍了动态规划法的基本概念和基本特征，通过详细解析动态规划法的特征，给出判断问题是否使用动态规划法结题的思路。并根据具体问题，给出了分解问题的步骤。希望读者能了解掌握动态规划法这一基础算法。
- 本文介绍了分治法的基本概念和基本特征，通过详细解析分治法的特征，给出判断问题是否使用分治法结题的思路。希望读者能了解掌握分治法这一基础算法。 本文介绍了分治法的基本概念和基本特征，通过详细解析分治法的特征，给出判断问题是否使用分治法结题的思路。希望读者能了解掌握分治法这一基础算法。
- 本文介绍金融企业如银行等，基于华为云TICS可信智能计算服务，以“数据可用不可见”方式利用政府数据，助力普惠金融落地。 金融行业网络安全管理严格，TICS Agent部署在银行的本地数据中心的边缘节点，并通过待网络安全限制的上网代理，与云端进行通信。本文档详细介绍了TICS Agent跨内网代理部署的详细步骤，目标用户是银行侧负责方案部署的技术工程师。 本文介绍金融企业如银行等，基于华为云TICS可信智能计算服务，以“数据可用不可见”方式利用政府数据，助力普惠金融落地。 金融行业网络安全管理严格，TICS Agent部署在银行的本地数据中心的边缘节点，并通过待网络安全限制的上网代理，与云端进行通信。本文档详细介绍了TICS Agent跨内网代理部署的详细步骤，目标用户是银行侧负责方案部署的技术工程师。
- 用过linux的都知道，echo和cat是我们常用的展示内容和写入内容的方式。 最近在使用这两个最简单的命令时，遇到了特殊字符写入失败问题。 这里重新学习一下echo和cat两个命令，记录一下。 用过linux的都知道，echo和cat是我们常用的展示内容和写入内容的方式。 最近在使用这两个最简单的命令时，遇到了特殊字符写入失败问题。 这里重新学习一下echo和cat两个命令，记录一下。
- 1 简介PSI全称隐私保护集合交集(Private Set Intersection, PSI)，是指持有数据的两方能够计算得到双方数据集合的交集部分，而不暴露交集以外的任何数据集合信息。PSI通常具有以下三个特点： 半可信场景：数据双方不愿意暴露所有数据，仅希望求得数据集合交集 数据最小化：除了数据集合交集以外的数据不能泄露给任意一方 安全双方计算：参与计算的双方需要共同实现一套... 1 简介PSI全称隐私保护集合交集(Private Set Intersection, PSI)，是指持有数据的两方能够计算得到双方数据集合的交集部分，而不暴露交集以外的任何数据集合信息。PSI通常具有以下三个特点： 半可信场景：数据双方不愿意暴露所有数据，仅希望求得数据集合交集 数据最小化：除了数据集合交集以外的数据不能泄露给任意一方 安全双方计算：参与计算的双方需要共同实现一套...
- 该文章主要对DLI中Flink OpenSource SQL的使用场景样例进行介绍。 该文章主要对DLI中Flink OpenSource SQL的使用场景样例进行介绍。
- 1. 问题描述使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。2. 初步分析该表的结果是由两表join后生成。经分析，join的结果产生了数据倾斜，且倾斜key为null。Join后每个task写一个文件，所以partition key为null的那个task将大量的null... 1. 问题描述使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。2. 初步分析该表的结果是由两表join后生成。经分析，join的结果产生了数据倾斜，且倾斜key为null。Join后每个task写一个文件，所以partition key为null的那个task将大量的null...
- 终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作，也算是一个好的开端。既然开始了，就认真耐心的看下去吧。废话不多说，开始！hdfs源码解析之客户端写数据（一）hdfs源码解析之客户端写数据（二）在我们客户端写数据的代码大致如下：Configuration conf = new Configuration（）； conf.set("fs.defaultFS","hdfs://172.1... 终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作，也算是一个好的开端。既然开始了，就认真耐心的看下去吧。废话不多说，开始！hdfs源码解析之客户端写数据（一）hdfs源码解析之客户端写数据（二）在我们客户端写数据的代码大致如下：Configuration conf = new Configuration（）； conf.set("fs.defaultFS","hdfs://172.1...
- 为了提升AI数据数量、质量、效率，ModelArts数据管理提供了：（1）多种方式进行数据整合：提供了超过18中数据增强算法来方便用户扩增数据；（2）提供数据预览、多维筛选和特征分析等方便用户查看和查找数据，提供超过12中标注工具方便标注更精细化、场景化、专业化的数据；（3）提供数据校验、自动分组、数据选择等算法：加速数据清洗，提供智能标注和团队标注：提高标注效率。 为了提升AI数据数量、质量、效率，ModelArts数据管理提供了：（1）多种方式进行数据整合：提供了超过18中数据增强算法来方便用户扩增数据；（2）提供数据预览、多维筛选和特征分析等方便用户查看和查找数据，提供超过12中标注工具方便标注更精细化、场景化、专业化的数据；（3）提供数据校验、自动分组、数据选择等算法：加速数据清洗，提供智能标注和团队标注：提高标注效率。
- 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们... 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们...
- 反射Q： 调用类对象.class 和 forName(类名)的区别？Class<A> classA = A.class;Class<A> classA = Class.forName("A");A： 仅使用.class不能进行第一次静态初始化， forname函数则可以例如B是A的基类,下面这段代码如何？假设有父子2个类，如下：static class Parent { }static c... 反射Q： 调用类对象.class 和 forName(类名)的区别？Class<A> classA = A.class;Class<A> classA = Class.forName("A");A： 仅使用.class不能进行第一次静态初始化， forname函数则可以例如B是A的基类,下面这段代码如何？假设有父子2个类，如下：static class Parent { }static c...
- 概述 当我们把设计稿和技术选型定下来之后，接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node 和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息，首先要给节点分层，分层的信息取决于节点之间的依赖关系。问题分析 当前我们默认图是从上到下布局方式，节点分层，最容易想到的就是拓扑排序，通过BFS 宽度优先遍历，计算每个节点... 概述 当我们把设计稿和技术选型定下来之后，接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node 和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息，首先要给节点分层，分层的信息取决于节点之间的依赖关系。问题分析 当前我们默认图是从上到下布局方式，节点分层，最容易想到的就是拓扑排序，通过BFS 宽度优先遍历，计算每个节点...
上滑加载中
推荐直播
-
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名 -
GaussDB应用实战：手把手带你写SQL2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍，帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
去报名
热门标签