- Spark-SQL中关于Subquery的处理 Spark-SQL中关于Subquery的处理
- 1 目的l 底层或对端故障及劣化时业务0中断。l 容灾不断话。l 业务/APP/服务、平台/OS等软件任意时间升级不中断业务。l 重要数据0丢失。l 数据持久度“13个9”。2 设计方案2.1 设计思路跨AZ双活的设计上，借鉴服务本地可靠性冗余设计的思路，并在此基础上进一步增强。将云服务各层的组件（主备、集群）拉远跨AZ部署（逻辑上一套）或者双AZ部署（逻辑上... 1 目的l 底层或对端故障及劣化时业务0中断。l 容灾不断话。l 业务/APP/服务、平台/OS等软件任意时间升级不中断业务。l 重要数据0丢失。l 数据持久度“13个9”。2 设计方案2.1 设计思路跨AZ双活的设计上，借鉴服务本地可靠性冗余设计的思路，并在此基础上进一步增强。将云服务各层的组件（主备、集群）拉远跨AZ部署（逻辑上一套）或者双AZ部署（逻辑上...
- 数据质量维度目前业界对于数据质量的衡量标准，分为以下六大维度：名称英文描述完整性Completeness衡量所必须的数据的完整程度，如不能缺失的空值检查唯一性Uniqueness针对某个数据项或某组数据，没有重复的数据值。值必须是唯一的如ID类数据及时性Timeliness对于数据更新频率的满足程度，针对用户对信息获取的时间及时性要求，确保数据及时更新有效性Validity对于数据的值、格式... 数据质量维度目前业界对于数据质量的衡量标准，分为以下六大维度：名称英文描述完整性Completeness衡量所必须的数据的完整程度，如不能缺失的空值检查唯一性Uniqueness针对某个数据项或某组数据，没有重复的数据值。值必须是唯一的如ID类数据及时性Timeliness对于数据更新频率的满足程度，针对用户对信息获取的时间及时性要求，确保数据及时更新有效性Validity对于数据的值、格式...
- 访问权限控制是数据安全提供的一项资源访问权限的功能，您可以创建权限策略，并通过这些策略实现资源的访问控制，按需为用户分配最小权限，从而降低企业数据信息安全风险。 访问权限控制是数据安全提供的一项资源访问权限的功能，您可以创建权限策略，并通过这些策略实现资源的访问控制，按需为用户分配最小权限，从而降低企业数据信息安全风险。
- 在DAYU中，基于数据模型可以零代码创建数据开发作业，并进一步完成数据的过滤、转换等操作 在DAYU中，基于数据模型可以零代码创建数据开发作业，并进一步完成数据的过滤、转换等操作
- 使用回调可以抽取公共代码，分离稳定和易变的逻辑，有效提升系统的可维护性，提升代码质量。 使用回调可以抽取公共代码，分离稳定和易变的逻辑，有效提升系统的可维护性，提升代码质量。
- 范式：符合某一种级别的关系模式的集合，一张数据表结构符合某种设计标准的级别第一范式：1NF的定义为：每个属性都不可再分，是所有关系型数据库最基本要求 改进 第二范式：2NF在1NF的基础之上，消除了非主属性对于码的部分函数依赖比如有两个主键，不能存在这样的属性，它只依赖于其中一个主键，则不符合2NF消除非主属性对于码（主键）的部分函数依赖 表中所有的函数依赖关系： 主属性有两个：学号 与... 范式：符合某一种级别的关系模式的集合，一张数据表结构符合某种设计标准的级别第一范式：1NF的定义为：每个属性都不可再分，是所有关系型数据库最基本要求 改进 第二范式：2NF在1NF的基础之上，消除了非主属性对于码的部分函数依赖比如有两个主键，不能存在这样的属性，它只依赖于其中一个主键，则不符合2NF消除非主属性对于码（主键）的部分函数依赖 表中所有的函数依赖关系： 主属性有两个：学号 与...
- DAYU DLCatalog是DAYU下的一个元数据管理服务，提供了对多mrs集群元数据管理的能力。而dlcatalog的鉴权模块提供rest端和thrift端访问hive metastore的鉴权能力。用户通过鉴权结果来被授权可以访问特定资源。在鉴权之前，用户需要自定义授权的策略以便可以完成鉴权。DAYU DLCatalog注册的scope是XA(项目级服务)，顾在获取token，创建自定... DAYU DLCatalog是DAYU下的一个元数据管理服务，提供了对多mrs集群元数据管理的能力。而dlcatalog的鉴权模块提供rest端和thrift端访问hive metastore的鉴权能力。用户通过鉴权结果来被授权可以访问特定资源。在鉴权之前，用户需要自定义授权的策略以便可以完成鉴权。DAYU DLCatalog注册的scope是XA(项目级服务)，顾在获取token，创建自定...
- 现象：通过IAM获取的Token调用调用VIS的API报错VIS.0001, 报错信息{“error_msg”:“The authentication token is abnormal”，“error_code”: “VIS.0001”}；可能原因：用户获取的Token是domain级别的，需要获取project级别的Token。推荐处理方式：（1）首先确认获取Token的方式是否正确，针... 现象：通过IAM获取的Token调用调用VIS的API报错VIS.0001, 报错信息{“error_msg”:“The authentication token is abnormal”，“error_code”: “VIS.0001”}；可能原因：用户获取的Token是domain级别的，需要获取project级别的Token。推荐处理方式：（1）首先确认获取Token的方式是否正确，针...
- 为了最大限度提升应用开发人员的代码质量、减少业务SQL的性能风险、降低运维调优工作量，需要针对上线的SQL语句进行验收审核，并输出上线前验收Checklist，协助完成数据库开发规范自检。 为了最大限度提升应用开发人员的代码质量、减少业务SQL的性能风险、降低运维调优工作量，需要针对上线的SQL语句进行验收审核，并输出上线前验收Checklist，协助完成数据库开发规范自检。
- Git命令行知识总结 Git命令行知识总结
- 得益于深度学习的发展，许多计算机视觉任务在近几年取得了不错的效果。但是，现有的深度学习算法多是有监督学习算法，依赖大量人工标记的训练数据，而标注数据十分耗费人力成本。因此，解决深度学习对数据的依赖问题和减少数据标注成本成为了业界的研究热点。本文选取了相关领域的部分论文，将介绍以下几个方向：半监督/弱监督学习；数据合成；主动学习；自监督。 得益于深度学习的发展，许多计算机视觉任务在近几年取得了不错的效果。但是，现有的深度学习算法多是有监督学习算法，依赖大量人工标记的训练数据，而标注数据十分耗费人力成本。因此，解决深度学习对数据的依赖问题和减少数据标注成本成为了业界的研究热点。本文选取了相关领域的部分论文，将介绍以下几个方向：半监督/弱监督学习；数据合成；主动学习；自监督。
- 对于目标的检测和实例分割任务，边界区域往往具有重要意义，决定了目标的包围框或分割图精准程度。一些领域的学者开始对这一特性进行挖掘，如OCR领域和通用目标实例分割领域，并都取得了良好的效果。本文选取了几篇近期的工作加以介绍。 对于目标的检测和实例分割任务，边界区域往往具有重要意义，决定了目标的包围框或分割图精准程度。一些领域的学者开始对这一特性进行挖掘，如OCR领域和通用目标实例分割领域，并都取得了良好的效果。本文选取了几篇近期的工作加以介绍。
- 一、问题现象 我们有一个15万条总数据量133MB的表，使用SELECT * FROM bi.dwd_tbl_conf_info全表查询耗时3min，另外一个500万条总数据量6.3G的表ods_tbl_conf_detail，查询耗时23秒。两张表均为列式存储的表。 大表查询快，而小表反而查询慢了，为什么会产生如此奇怪的现象呢？二、问题探询 数据量6.3G的表查... 一、问题现象 我们有一个15万条总数据量133MB的表，使用SELECT * FROM bi.dwd_tbl_conf_info全表查询耗时3min，另外一个500万条总数据量6.3G的表ods_tbl_conf_detail，查询耗时23秒。两张表均为列式存储的表。 大表查询快，而小表反而查询慢了，为什么会产生如此奇怪的现象呢？二、问题探询 数据量6.3G的表查...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签