- 当用户在DAYU数据开发上进行作业的开发编排的时候，有时会有如下场景：我有一批任务，它们的配置中只有几个参数是不一致的，其余的参数全部都一样。那我是否能定义一个模板任务，对模板任务中要变化的参数定义成变量，然后把所有参数值都定义在一个数据集中，每次从数据集中取出数据，循环替换模板任务中的变量？答案是可以。DAYU数据开发中的For Each算子可以满足用户的该需求，For Each算子可以指... 当用户在DAYU数据开发上进行作业的开发编排的时候，有时会有如下场景：我有一批任务，它们的配置中只有几个参数是不一致的，其余的参数全部都一样。那我是否能定义一个模板任务，对模板任务中要变化的参数定义成变量，然后把所有参数值都定义在一个数据集中，每次从数据集中取出数据，循环替换模板任务中的变量？答案是可以。DAYU数据开发中的For Each算子可以满足用户的该需求，For Each算子可以指...
- OpenStack是什么 & 包含什么 & 基本原则OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它不是一个软件，而是由几个主要的组件组合起来完成一些具体的工作。OpenStack旨在构建一个内核，所有的软件厂商都围绕着它进行工作。OpenStack的许多子项目，对云计算平台中的各种资源(如计算能力、存储、网络)提供敏捷管理。此外，OpenStack也提供对虚拟化... OpenStack是什么 & 包含什么 & 基本原则OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它不是一个软件，而是由几个主要的组件组合起来完成一些具体的工作。OpenStack旨在构建一个内核，所有的软件厂商都围绕着它进行工作。OpenStack的许多子项目，对云计算平台中的各种资源(如计算能力、存储、网络)提供敏捷管理。此外，OpenStack也提供对虚拟化...
- 数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。” 数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。”
- 【摘要】 DataArts Studio（原DGC）串联ModelArts作业使用说明 【摘要】 DataArts Studio（原DGC）串联ModelArts作业使用说明
- 数据标准是在组织层面形成统一数据定义和规则，提升组织数据重用和数据质量的基础。数据标准一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准是在组织层面形成统一数据定义和规则，提升组织数据重用和数据质量的基础。数据标准一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。
- 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId... 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId...
- 随着通信、互联网及物联网等技术的不断发展，企业所提供的互联网服务能够被越来越多的接入方式诸如：网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用，使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。 大规模... 随着通信、互联网及物联网等技术的不断发展，企业所提供的互联网服务能够被越来越多的接入方式诸如：网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用，使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。 大规模...
- FoundationDB是一个开源数据库项目，最初于2012年1月进行Alpha测试，2013年4月进行Beta测试。2013年8月20日正式发布了1.0版本。两年后的2013年3月25日被苹果公司收购以后不再开源。苹果公司于2018I年4月19日再次开源。本文通过FoundationDB官网学习，记录FoundationDB相关重要知识点。 FoundationDB有哪些优势？多模型数据存... FoundationDB是一个开源数据库项目，最初于2012年1月进行Alpha测试，2013年4月进行Beta测试。2013年8月20日正式发布了1.0版本。两年后的2013年3月25日被苹果公司收购以后不再开源。苹果公司于2018I年4月19日再次开源。本文通过FoundationDB官网学习，记录FoundationDB相关重要知识点。 FoundationDB有哪些优势？多模型数据存...
- 规范设计践行数据治理方法论，将数据治理行为可视化，打通数据基础层到汇总层、集市层的数据处理链路，落地数据标准和数据资产，通过关系建模、维度建模实现数据标准化，通过统一指标平台建设，实现规范化指标体系，消除歧义、统一口径、统一计算逻辑，对外提供主题式数据查询与挖掘服务。 规范设计践行数据治理方法论，将数据治理行为可视化，打通数据基础层到汇总层、集市层的数据处理链路，落地数据标准和数据资产，通过关系建模、维度建模实现数据标准化，通过统一指标平台建设，实现规范化指标体系，消除歧义、统一口径、统一计算逻辑，对外提供主题式数据查询与挖掘服务。
- CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在... CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在...
- 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data...
- 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试... 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试...
- 当EL表达式比较复杂的时候，如何在调试的时候能看到EL表达式的替换结果是否符合预期？ 当EL表达式比较复杂的时候，如何在调试的时候能看到EL表达式的替换结果是否符合预期？
- 介绍DGC数据开发中Rest Client算子的基本使用场景 介绍DGC数据开发中Rest Client算子的基本使用场景
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
上滑加载中
推荐直播
-
手把手教你实现mini版TinyVue组件库2024/04/17 周三 16:30-18:00
阿健 华为云前端开发DTSE 技术布道师
在前端Web开发过程中，跨版本兼容性问题是一个普遍存在的挑战。为了解决这些痛点，OpenTiny推出跨端、跨框架、跨版本组件库TinyVue。本期直播聚焦于华为云的前端开源组件库TinyVue，通过mini版TinyVue的代码实践与大家共同深入解读Vue2/Vue3不同版本间的差异。这对于提升用户体验，减低维护成本，提升开发者技术洞察有重要意义。
回顾中 -
如何快速入驻O3使能伙伴服务作业平台2024/04/18 周四 16:00-16:40
红喜 O3伙伴服务工作台技术总架构师
本期邀请O3伙伴服务工作台技术总架构师，讲解O3伙伴服务工作台的设计理念，及演示工作台关键能力与价值点，带你2步快速入驻工作台。O3伙伴服务工作台，具备在线Online、开放Open、协同Orchestration的特征，作为伙伴服务的统一入口，支持伙伴以租户方式入驻，涵盖伙伴工程师、管理者等多角色，是一个以伙伴服务领域全旅程作业为中心，整合华为服务各专业领域能力，开放共享的一站式作业平台。
去报名
热门标签