- 数据湖这一概念,最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源,多种类型数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。” 数据湖这一概念,最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源,多种类型数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。”
- 华为云DataArts Studio帮助文档 场景为先,从大纲和内容两方面优化,重塑文档体验! 华为云DataArts Studio帮助文档 场景为先,从大纲和内容两方面优化,重塑文档体验!
- 数据治理中心服务DataArts Studio数据安全能力介绍 数据治理中心服务DataArts Studio数据安全能力介绍
- 【摘要】 DataArts Studio(原DGC)串联ModelArts作业使用说明 【摘要】 DataArts Studio(原DGC)串联ModelArts作业使用说明
- 数据标准是在组织层面形成统一数据定义和规则,提升组织数据重用和数据质量的基础。数据标准一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 数据标准是在组织层面形成统一数据定义和规则,提升组织数据重用和数据质量的基础。数据标准一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。
- 1 说明在DGC服务创建MRS Hive数据连接,连接方式分为两种,一种是通过代理连接,另一种通过api方式连接。两种方式提交MRS Hive任务方式不同,查看日志的方式也有所不同,下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群,无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId... 1 说明在DGC服务创建MRS Hive数据连接,连接方式分为两种,一种是通过代理连接,另一种通过api方式连接。两种方式提交MRS Hive任务方式不同,查看日志的方式也有所不同,下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群,无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId...
- 随着通信、互联网及物联网等技术的不断发展,企业所提供的互联网服务能够被越来越多的接入方式诸如:网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用,使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示,全球每年产生的数据将从2018年的33ZB增长到175ZB,相当于每天产生491EB的数据。 大规模... 随着通信、互联网及物联网等技术的不断发展,企业所提供的互联网服务能够被越来越多的接入方式诸如:网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用,使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示,全球每年产生的数据将从2018年的33ZB增长到175ZB,相当于每天产生491EB的数据。 大规模...
- FoundationDB是一个开源数据库项目,最初于2012年1月进行Alpha测试,2013年4月进行Beta测试。2013年8月20日正式发布了1.0版本。两年后的2013年3月25日被苹果公司收购以后不再开源。苹果公司于2018I年4月19日再次开源。本文通过FoundationDB官网学习,记录FoundationDB相关重要知识点。 FoundationDB有哪些优势?多模型数据存... FoundationDB是一个开源数据库项目,最初于2012年1月进行Alpha测试,2013年4月进行Beta测试。2013年8月20日正式发布了1.0版本。两年后的2013年3月25日被苹果公司收购以后不再开源。苹果公司于2018I年4月19日再次开源。本文通过FoundationDB官网学习,记录FoundationDB相关重要知识点。 FoundationDB有哪些优势?多模型数据存...
- 规范设计践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据资产,通过关系建模、维度建模实现数据标准化,通过统一指标平台建设,实现规范化指标体系,消除歧义、统一口径、统一计算逻辑,对外提供主题式数据查询与挖掘服务。 规范设计践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据资产,通过关系建模、维度建模实现数据标准化,通过统一指标平台建设,实现规范化指标体系,消除歧义、统一口径、统一计算逻辑,对外提供主题式数据查询与挖掘服务。
- CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的,是基于对CAP定理的误解。什么是CAP定理?2000 年,Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性:一致性:读取看到所有以前完成的写入。可用性:读取和写入总是成功。分区容错性:即使网络故障阻止某些机器与其他机器进行通信,也能保持有保证的属性。2002 年,吉尔伯特和林奇在... CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的,是基于对CAP定理的误解。什么是CAP定理?2000 年,Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性:一致性:读取看到所有以前完成的写入。可用性:读取和写入总是成功。分区容错性:即使网络故障阻止某些机器与其他机器进行通信,也能保持有保证的属性。2002 年,吉尔伯特和林奇在...
- 说一下oracle实例恢复时,要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时,需要找到redo的起点(lrba,也就是checkpoint rba:检查点队列中第一脏块的lrba)和终点(on-disk rba)。终点自然就是redo的结尾,起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba,在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时,要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时,需要找到redo的起点(lrba,也就是checkpoint rba:检查点队列中第一脏块的lrba)和终点(on-disk rba)。终点自然就是redo的结尾,起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba,在这个lrba之前的redo所保护的data...
- 并发访问共享资源,如果不加锁,可能会导致数据不一致问题,通常为了解决并发访问问题,我们都会在访问共享资源之前加锁,保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁,各有什么优缺点?互斥锁和自旋锁是最底层的两种锁,其他的很多锁都是基于他们的实现。当线程A获取到锁后,线程B再去获取锁,有两种处理方式,第一种是线程B循环的去尝试... 并发访问共享资源,如果不加锁,可能会导致数据不一致问题,通常为了解决并发访问问题,我们都会在访问共享资源之前加锁,保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁,各有什么优缺点?互斥锁和自旋锁是最底层的两种锁,其他的很多锁都是基于他们的实现。当线程A获取到锁后,线程B再去获取锁,有两种处理方式,第一种是线程B循环的去尝试...
- 当EL表达式比较复杂的时候,如何在调试的时候能看到EL表达式的替换结果是否符合预期? 当EL表达式比较复杂的时候,如何在调试的时候能看到EL表达式的替换结果是否符合预期?
- 介绍DGC数据开发中Rest Client算子的基本使用场景 介绍DGC数据开发中Rest Client算子的基本使用场景
- 在kafka-0.8.2之后,producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地,在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后,producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地,在ack=-1模式下需要等待所有的re...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签