- Prompt learning 教学最终篇:Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐 Prompt learning 教学最终篇:Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐
- NLP知识图谱项目合集(信息抽取、文本分类、图神经网络、性能优化等) NLP知识图谱项目合集(信息抽取、文本分类、图神经网络、性能优化等)
- CLIP 通过大量的图像和文本对的学习,通过图像和文本特征向量之间的余弦相似度来度量两者的相似性 CLIP 通过大量的图像和文本对的学习,通过图像和文本特征向量之间的余弦相似度来度量两者的相似性
- 本文主要是打通从原始数据到模型训练/推理时所期待的字符串格式这一流程。 本文主要是打通从原始数据到模型训练/推理时所期待的字符串格式这一流程。
- Qwen3-4B分布式全参微调实践 Qwen3-4B分布式全参微调实践
- Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 Unsloth(QLoRA)工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。 Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 Unsloth(QLoRA)工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。
- Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 PEFT(QLoRA)工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。 Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 PEFT(QLoRA)工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。
- Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 PEFT(LoRA) 工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。 Qwen/Qwen3-0.6B 全参数微调需要的显卡内存接近30GB,无法在RTX3060显卡上面进行微调。所以本文基于 TRL 中用于监督微调的 SFT Trainer 和 PEFT(LoRA) 工具,在RTX3060显卡上面实现 Qwen/Qwen3-0.6B 的参数高效微调。
- 本文基于 TRL 中用于监督微调的 SFT Trainer 工具,实现 Qwen/Qwen3-0.6B 的全参微调。 本文基于 TRL 中用于监督微调的 SFT Trainer 工具,实现 Qwen/Qwen3-0.6B 的全参微调。
- TRL提供的用于监督微调的 SFT Trainer 工具,可以实现全参数微调和参数高效微调。 TRL提供的用于监督微调的 SFT Trainer 工具,可以实现全参数微调和参数高效微调。
- “混合”精度的精髓在于:用高精度(FP32)保证关键信息的准确性,用低精度(FP16/BF16)加速大部分运算和节省显存。 “混合”精度的精髓在于:用高精度(FP32)保证关键信息的准确性,用低精度(FP16/BF16)加速大部分运算和节省显存。
- 本文由云软件体验技术团队岑灌铭原创。从露营趣味案例入手,详解电商系统集成 GenUI SDK 完整实操~背景时针拨过周一晚上十点,XX大学男生寝室 502 里充斥着键盘敲击声和偶尔的鼾声。大二学生小明,一个典型的“行动派热血青年”,正瘫在床上刷着朋友圈。突然,他的手指停住了。屏幕上是隔壁班班花发的一组九宫格:精致的摩洛哥风帐篷、摇曳的煤油灯、噼啪作响的篝火,背景是浩瀚星空。配文:“周末,逃离... 本文由云软件体验技术团队岑灌铭原创。从露营趣味案例入手,详解电商系统集成 GenUI SDK 完整实操~背景时针拨过周一晚上十点,XX大学男生寝室 502 里充斥着键盘敲击声和偶尔的鼾声。大二学生小明,一个典型的“行动派热血青年”,正瘫在床上刷着朋友圈。突然,他的手指停住了。屏幕上是隔壁班班花发的一组九宫格:精致的摩洛哥风帐篷、摇曳的煤油灯、噼啪作响的篝火,背景是浩瀚星空。配文:“周末,逃离...
- 优化器(Optimizer)是一种用于调整神经网络参数(权重和偏置),用来最小化目标函数(如损失函数)的迭代优化算法。它决定了模型如何根据计算出的梯度来更新参数,是模型训练的核心组件。 优化器(Optimizer)是一种用于调整神经网络参数(权重和偏置),用来最小化目标函数(如损失函数)的迭代优化算法。它决定了模型如何根据计算出的梯度来更新参数,是模型训练的核心组件。
- 在标准数据并行中,每个设备都保存完整的模型状态,导致跨设备的冗余存储,并严重限制了可训练模型的规模(模型的规模受到显卡的限制,无法训练大规模参数的模型)。ZeRO的主要是为解决在标准数据并行中跨设备的冗余存储的问题。 在标准数据并行中,每个设备都保存完整的模型状态,导致跨设备的冗余存储,并严重限制了可训练模型的规模(模型的规模受到显卡的限制,无法训练大规模参数的模型)。ZeRO的主要是为解决在标准数据并行中跨设备的冗余存储的问题。
- 通过各种形式的切分,将模型以及数据分配到其他GPU硬件,从而突破单设备在模型容量上的限制,使训练超大规模模型成为可能。 通过各种形式的切分,将模型以及数据分配到其他GPU硬件,从而突破单设备在模型容量上的限制,使训练超大规模模型成为可能。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签