- 新人初入K8s江湖,站在巨人的肩膀上,有点不成熟的想法,做了一点浅浅的实践,为后来人抛砖引玉。 新人初入K8s江湖,站在巨人的肩膀上,有点不成熟的想法,做了一点浅浅的实践,为后来人抛砖引玉。
- 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟,企业开始逐步上云,其中辅助决策的数据分析业务也发生了如下几个方面的变化: l 从结构化向多元化转变:随着数据采集技术的提高和存储设备的降价,半结构化、非结构化数据被越来越多的采集和存储,很多关键信息,如身份证(图片)中的个人信息,也需要被参与到日常的数据分析中l 从单数据源向多... 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟,企业开始逐步上云,其中辅助决策的数据分析业务也发生了如下几个方面的变化: l 从结构化向多元化转变:随着数据采集技术的提高和存储设备的降价,半结构化、非结构化数据被越来越多的采集和存储,很多关键信息,如身份证(图片)中的个人信息,也需要被参与到日常的数据分析中l 从单数据源向多...
- GaussDB在执行SQL语句时,会对其性能表现进行分析和记录,通过视图和函数等手段呈现给用户。本文将简要介绍如何利用GaussDB提供的这些“第一手”数据,分析和定位SQL语句中存在的性能问题,识别和消除SQL中的“坏味道”。 GaussDB在执行SQL语句时,会对其性能表现进行分析和记录,通过视图和函数等手段呈现给用户。本文将简要介绍如何利用GaussDB提供的这些“第一手”数据,分析和定位SQL语句中存在的性能问题,识别和消除SQL中的“坏味道”。
- 1 什么是Unique SQL用户执行SQL语句时,每一个SQL语句文本都会进入解析器(Parser),生成“解析树”(parse tree)。遍历解析树中各个结点,忽略其中的常数值,以一定的算法结合树中的各结点,计算出来一个整数值,用来唯一标识这一类SQL,这个整数值被称为Unique SQL ID,Unique SQL ID相同的SQL语句属于同一个“Unique SQL”。例如,用户... 1 什么是Unique SQL用户执行SQL语句时,每一个SQL语句文本都会进入解析器(Parser),生成“解析树”(parse tree)。遍历解析树中各个结点,忽略其中的常数值,以一定的算法结合树中的各结点,计算出来一个整数值,用来唯一标识这一类SQL,这个整数值被称为Unique SQL ID,Unique SQL ID相同的SQL语句属于同一个“Unique SQL”。例如,用户...
- 本案例提供利用 ModelArts 上的 Autosearch 训练作业服务实现对强化学习算法库 rllib trainer 的超参搜索的一些配置方案。超参搜索配置(autosearch_config)以 bayes 超参搜索为例(注意 bayes要求连续性搜索空间)简易强化学习训练脚本(bootstrap_file)示例注意配置 ray 的训练环境:autosearch 本身镜像里的 Te... 本案例提供利用 ModelArts 上的 Autosearch 训练作业服务实现对强化学习算法库 rllib trainer 的超参搜索的一些配置方案。超参搜索配置(autosearch_config)以 bayes 超参搜索为例(注意 bayes要求连续性搜索空间)简易强化学习训练脚本(bootstrap_file)示例注意配置 ray 的训练环境:autosearch 本身镜像里的 Te...
- 论文依据:http://primo.ai/index.php?title=Generative_Tensorial_Reinforcement_Learning_(GENTRL)隐式表达模型 + 自动编码器在预训练的基础上能够一定程度上表征分子特征,生成新的分子空间;利用张量生成,该模型可以从空间自生成分子序列,结合强化学习模式,对生成的分子序列打分反馈,更新隐式表达模型,学习进化,优化生成... 论文依据:http://primo.ai/index.php?title=Generative_Tensorial_Reinforcement_Learning_(GENTRL)隐式表达模型 + 自动编码器在预训练的基础上能够一定程度上表征分子特征,生成新的分子空间;利用张量生成,该模型可以从空间自生成分子序列,结合强化学习模式,对生成的分子序列打分反馈,更新隐式表达模型,学习进化,优化生成...
- GaussDB(DWS)的表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的,比如修改被视图引用的字段的类型,删除表等,而新增字段是可以操作,主要原因是视图引用了表的字段,修改的话视图也需要变化 GaussDB(DWS)的表被视图引用的话,特定场景下,部分DDL操作是不能直接执行的,比如修改被视图引用的字段的类型,删除表等,而新增字段是可以操作,主要原因是视图引用了表的字段,修改的话视图也需要变化
- 最近开始接触GaussDB(DWS),在查询一些表信息的时候,总是忘记字典表是啥,虽然说用的多就记住了,但是还没记住的时候,总是要查询产品文档或之前的笔记,挺麻烦的。同时比如优化SQL的时候,总会需要综合多方面的信息,就需要多个字典表,比如表的分布列,分布方式,空间大小,倾斜率,有没收集统计信息等等,还需要统计一起,那就需要更多工作了。决定写一个shell脚本来减轻工作量。 最近开始接触GaussDB(DWS),在查询一些表信息的时候,总是忘记字典表是啥,虽然说用的多就记住了,但是还没记住的时候,总是要查询产品文档或之前的笔记,挺麻烦的。同时比如优化SQL的时候,总会需要综合多方面的信息,就需要多个字典表,比如表的分布列,分布方式,空间大小,倾斜率,有没收集统计信息等等,还需要统计一起,那就需要更多工作了。决定写一个shell脚本来减轻工作量。
- shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio... shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio...
- 在GaussDB(DWS)上实现ORACLE的触发器 在GaussDB(DWS)上实现ORACLE的触发器
- 本文介绍了如何使用ModelArt Notebook, 结合NPL方法, 训练作诗机器人的模型 本文介绍了如何使用ModelArt Notebook, 结合NPL方法, 训练作诗机器人的模型
- 二维不规则异形件主要有两种策略:分别是基于可行解的排样策略和基于重叠移除的排样策略。所谓基于可行解的排样策略,是指在排样过程中零件之间始终是不重叠的,而基于重叠移除的排样策略,是指在排样过程中允许零件之间发生重叠,在搜索过程中采用一定策略减少零件重叠的程度,直至最终得到可行解为止。 二维不规则异形件主要有两种策略:分别是基于可行解的排样策略和基于重叠移除的排样策略。所谓基于可行解的排样策略,是指在排样过程中零件之间始终是不重叠的,而基于重叠移除的排样策略,是指在排样过程中允许零件之间发生重叠,在搜索过程中采用一定策略减少零件重叠的程度,直至最终得到可行解为止。
- 随着硬件算力的提升和互联网带来的海量数据,深度学习迎来了第三次浪潮。 在这次浪潮中,有关目标检测算法是如何发展的呢? 本文将以科普的方式为你介绍~ 随着硬件算力的提升和互联网带来的海量数据,深度学习迎来了第三次浪潮。 在这次浪潮中,有关目标检测算法是如何发展的呢? 本文将以科普的方式为你介绍~
- 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减,具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为:如果executor数据量不够,则增加数量,如果executor在一段时间内空闲,则移除这个executor。动态增加executor配置项:spark.dynamicAllocation.schedulerBacklogTimeout说明... 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减,具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为:如果executor数据量不够,则增加数量,如果executor在一段时间内空闲,则移除这个executor。动态增加executor配置项:spark.dynamicAllocation.schedulerBacklogTimeout说明...
- 随着容器技术的日益成熟,在云上,Docker+K8s的应用部署方式,越来越流行,用户可以使用Dockerfile打包自己的业务镜像,运行在云上,方便快捷地实现自己的业务场景。华为云的数据湖探索服务(简称DLI)提供的自定义镜像功能就很好的支持了这种场景。使用DLI提供的自定义镜像功能提交作业,用户可以依赖DLI提供的spark或者flink基础镜像,使用Dockerfile将作... 随着容器技术的日益成熟,在云上,Docker+K8s的应用部署方式,越来越流行,用户可以使用Dockerfile打包自己的业务镜像,运行在云上,方便快捷地实现自己的业务场景。华为云的数据湖探索服务(简称DLI)提供的自定义镜像功能就很好的支持了这种场景。使用DLI提供的自定义镜像功能提交作业,用户可以依赖DLI提供的spark或者flink基础镜像,使用Dockerfile将作...
上滑加载中
推荐直播
-
AI编码实干派,“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国,深圳,2026年2月26日】,以“AI编码实干派,码力全开”为主题的华为云码道(CodeArts)代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布,为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中
热门标签