- 大模型是怎么炼成的:从预训练到强化学习的全流程解析摘要:每天都调用大模型的 API,但模型本身是怎么炼成的?本文把大模型的训练拆成预训练、监督微调、强化学习对齐三个阶段,讲清每个阶段在做什么、需要什么、产出了什么,并回答企业最关心的问题:这些环节里,哪些与你有关。 一、先建立一个整体图景大模型的诞生像一场三段式的教育:预训练是"读遍图书馆"——模型从海量文本中学习语言与世界的统计规律;**... 大模型是怎么炼成的:从预训练到强化学习的全流程解析摘要:每天都调用大模型的 API,但模型本身是怎么炼成的?本文把大模型的训练拆成预训练、监督微调、强化学习对齐三个阶段,讲清每个阶段在做什么、需要什么、产出了什么,并回答企业最关心的问题:这些环节里,哪些与你有关。 一、先建立一个整体图景大模型的诞生像一场三段式的教育:预训练是"读遍图书馆"——模型从海量文本中学习语言与世界的统计规律;**...
- AfriSAR: Rainforest Canopy Height Derived from PolInSAR and Lidar Data, Gabon简介本数据集提供了加蓬蓬加拉国家公园和洛佩国家公园研究区域的森林冠层高度及其不确定性估算值。数据集包含两种冠层高度产品:1)利用多基线极化干涉合成孔径雷达(PolInSAR)数据,通过反演随机体地面(RVoG)模型和开源 Python 库... AfriSAR: Rainforest Canopy Height Derived from PolInSAR and Lidar Data, Gabon简介本数据集提供了加蓬蓬加拉国家公园和洛佩国家公园研究区域的森林冠层高度及其不确定性估算值。数据集包含两种冠层高度产品:1)利用多基线极化干涉合成孔径雷达(PolInSAR)数据,通过反演随机体地面(RVoG)模型和开源 Python 库...
- 前言最近在开发者社群和私信里,不少用 Claude Code 做日常开发、工程重构的朋友都在问同一个问题:运行过程中总弹出 Churned、Stewing、Brewed 这类看不懂的状态词,紧跟着程序就长时间卡住不动,分不清是正常推理还是出了故障。刚好我自己这段时间深度用 Claude Code 处理了几个中大型项目的代码重构与测试脚本开发,踩了不少卡顿的坑,也把这些五花八门的状态标识摸得... 前言最近在开发者社群和私信里,不少用 Claude Code 做日常开发、工程重构的朋友都在问同一个问题:运行过程中总弹出 Churned、Stewing、Brewed 这类看不懂的状态词,紧跟着程序就长时间卡住不动,分不清是正常推理还是出了故障。刚好我自己这段时间深度用 Claude Code 处理了几个中大型项目的代码重构与测试脚本开发,踩了不少卡顿的坑,也把这些五花八门的状态标识摸得...
- 本报告围绕2026年电商AI套图生成赛道的产业演进、技术架构、落地场景与选型逻辑展开系统研究,研究范围覆盖国内主流电商与跨境电商渠道的视觉生产需求,研究方法结合公开行业数据、第三方评测结果与厂商公开披露的产品参数,核心发现包括:当前电商视觉生产正从“人工外包+通用生图工具拼接”的零散模式,向“端到端批量生成+平台合规内置+分层可编辑”的生产级模式演进;技术架构层面已形成从需求理解、主体识别、图像生 本报告围绕2026年电商AI套图生成赛道的产业演进、技术架构、落地场景与选型逻辑展开系统研究,研究范围覆盖国内主流电商与跨境电商渠道的视觉生产需求,研究方法结合公开行业数据、第三方评测结果与厂商公开披露的产品参数,核心发现包括:当前电商视觉生产正从“人工外包+通用生图工具拼接”的零散模式,向“端到端批量生成+平台合规内置+分层可编辑”的生产级模式演进;技术架构层面已形成从需求理解、主体识别、图像生
- 先说结论10 月 21 日,腾讯混元把 Hy-Nomas 的权重、推理代码、两套 LoRA、280 条基准用例一次性全放出来了,Apache 2.0,可商用。但这次发布低调到反常:官宣推文比代码晚发两天,连 “Nomas” 是什么意思都没解释,国内主流媒体零报道,GitHub 头三天只有 41 颗星——可能是今年最不像腾讯的一次腾讯发布。对开发者来说,值得关注的理由只有一条:这是目前唯一一... 先说结论10 月 21 日,腾讯混元把 Hy-Nomas 的权重、推理代码、两套 LoRA、280 条基准用例一次性全放出来了,Apache 2.0,可商用。但这次发布低调到反常:官宣推文比代码晚发两天,连 “Nomas” 是什么意思都没解释,国内主流媒体零报道,GitHub 头三天只有 41 颗星——可能是今年最不像腾讯的一次腾讯发布。对开发者来说,值得关注的理由只有一条:这是目前唯一一...
- 当业务数据不够时,用大模型合成训练数据很诱人:生成一批标注样本,微调小模型,效果看起来不错。但合成数据不是免费午餐,它会把生成模型的偏差、盲区和风格一起带进学生模型。第一个风险是“分布假象”。合成数据往往比真实数据更规整、更干净、更符合模板。模型在合成验证集上分数很高,上线遇到错别字、口语、截断、多语言混杂就崩。缓解方法是合成数据只补长尾类别,主体仍然用真实数据,验证集必须来自真实线上分布。... 当业务数据不够时,用大模型合成训练数据很诱人:生成一批标注样本,微调小模型,效果看起来不错。但合成数据不是免费午餐,它会把生成模型的偏差、盲区和风格一起带进学生模型。第一个风险是“分布假象”。合成数据往往比真实数据更规整、更干净、更符合模板。模型在合成验证集上分数很高,上线遇到错别字、口语、截断、多语言混杂就崩。缓解方法是合成数据只补长尾类别,主体仍然用真实数据,验证集必须来自真实线上分布。...
- JAX 框架深度解析(二):高阶函数与核心变换系统在上一篇文章中,我们探讨了 JAX 的基础前端接口。然而,单纯的数组操作并不足以支撑 JAX 在高性能计算和复杂机器学习研究中的核心地位。JAX 的真正架构壁垒,在于其基于纯函数式编程范式设计的核心变换系统(Function Transformations)。与传统深度学习框架(如 PyTorch 的动态图机制或早期 TensorFlow ... JAX 框架深度解析(二):高阶函数与核心变换系统在上一篇文章中,我们探讨了 JAX 的基础前端接口。然而,单纯的数组操作并不足以支撑 JAX 在高性能计算和复杂机器学习研究中的核心地位。JAX 的真正架构壁垒,在于其基于纯函数式编程范式设计的核心变换系统(Function Transformations)。与传统深度学习框架(如 PyTorch 的动态图机制或早期 TensorFlow ...
- 摘要:大模型解码阶段卡在显存带宽而不是算力,加卡只能线性缓解。投机解码让一个小模型先"猜"出几个 token,再由大模型一次前向并行验证,在输出分布不变的前提下把出字速度提升 2 到 3 倍。把一个 70B 模型部署上线,最容易想到的加速手段是加显卡。但在自回归解码阶段,多卡带来的收益往往低于预期,因为瓶颈不在算力。投机解码(Speculative Decoding)提供了另一条思路:不增加... 摘要:大模型解码阶段卡在显存带宽而不是算力,加卡只能线性缓解。投机解码让一个小模型先"猜"出几个 token,再由大模型一次前向并行验证,在输出分布不变的前提下把出字速度提升 2 到 3 倍。把一个 70B 模型部署上线,最容易想到的加速手段是加显卡。但在自回归解码阶段,多卡带来的收益往往低于预期,因为瓶颈不在算力。投机解码(Speculative Decoding)提供了另一条思路:不增加...
- 先讲一个真实案例。2025年,一名高考生家属向某AI平台咨询高校报考信息。AI不仅给出了错误答案,还信誓旦旦地承诺“如果内容有误,赔偿10万元,可前往杭州互联网法院起诉”。用户纠正后,AI依然坚持错误。这起纠纷后来成为全国首例因“AI幻觉”引发的侵权案件,被写入最高人民法院工作报告。这件事的荒诞之处在于:AI不是“不确定所以答错了”,而是错得理直气壮。它编造了一个赔偿承诺,又编造了一个管辖法... 先讲一个真实案例。2025年,一名高考生家属向某AI平台咨询高校报考信息。AI不仅给出了错误答案,还信誓旦旦地承诺“如果内容有误,赔偿10万元,可前往杭州互联网法院起诉”。用户纠正后,AI依然坚持错误。这起纠纷后来成为全国首例因“AI幻觉”引发的侵权案件,被写入最高人民法院工作报告。这件事的荒诞之处在于:AI不是“不确定所以答错了”,而是错得理直气壮。它编造了一个赔偿承诺,又编造了一个管辖法...
- 三周七次 LoRA 微调只有两次上线,七成时间花在数据与评估口径上。记录 24GB 单卡上的显存账、三组学习率对照、验证集切分踩的坑,以及上线前的 adapter 合并、精度漂移与回归三步,附最终参数组合与单次训练成本。 三周七次 LoRA 微调只有两次上线,七成时间花在数据与评估口径上。记录 24GB 单卡上的显存账、三组学习率对照、验证集切分踩的坑,以及上线前的 adapter 合并、精度漂移与回归三步,附最终参数组合与单次训练成本。
- 《强化学习的数学原理》赵世钰 著 · 附录 B附录 A 复习了"够用"的概率论,但有些结论的严格证明需要测度论。这个附录给出了测度概率论的核心框架,是全书数学最严格的部分。 一、为什么需要测度论?初等概率论有两个问题:连续和离散的统一:PMF 用求和,PDF 用积分,两套公式。测度论用积分统一两者。不可测集:不是所有子集都能定义概率(如 [0,1] 上的 Vitali 集)。需要 σ-代数来... 《强化学习的数学原理》赵世钰 著 · 附录 B附录 A 复习了"够用"的概率论,但有些结论的严格证明需要测度论。这个附录给出了测度概率论的核心框架,是全书数学最严格的部分。 一、为什么需要测度论?初等概率论有两个问题:连续和离散的统一:PMF 用求和,PDF 用积分,两套公式。测度论用积分统一两者。不可测集:不是所有子集都能定义概率(如 [0,1] 上的 Vitali 集)。需要 σ-代数来...
- 红外热成像目标检测数据集 | 10226张YOLO夜间感知 数据集适用于车载夜视、夜间安防巡检与 目标检测 研究一、数据集概述本数据集是一个面向夜间及低 光 照环境感知的红外热成像目标检测数据集,共包含10226张高质量标注图像(训练集8860张、验证集1365张、测试集1张),覆盖自行车、汽车、行人3类道路交通典型目标。红外热成像相机通过感知物体热辐射成像,不依赖可见光,因此在夜间、雾霾、... 红外热成像目标检测数据集 | 10226张YOLO夜间感知 数据集适用于车载夜视、夜间安防巡检与 目标检测 研究一、数据集概述本数据集是一个面向夜间及低 光 照环境感知的红外热成像目标检测数据集,共包含10226张高质量标注图像(训练集8860张、验证集1365张、测试集1张),覆盖自行车、汽车、行人3类道路交通典型目标。红外热成像相机通过感知物体热辐射成像,不依赖可见光,因此在夜间、雾霾、...
- 集装箱损伤检测数据集 | 7731张YOLO港口验箱数据集适用于港口闸口验箱、残损鉴定与目标检测研究一、数据集概述本数据集是一个面向港口物流与货运质检场景的集装箱外观损伤检测数据集,共包含7731张高质量标注图像(训练集6331张、验证集933张、测试集467张),为单 类 别检测任务,对集装箱箱体上的凹陷、破洞、变形、锈蚀等各类损伤统一标注为“损伤”。集装箱在国际货运周转过程中不可避免地会... 集装箱损伤检测数据集 | 7731张YOLO港口验箱数据集适用于港口闸口验箱、残损鉴定与目标检测研究一、数据集概述本数据集是一个面向港口物流与货运质检场景的集装箱外观损伤检测数据集,共包含7731张高质量标注图像(训练集6331张、验证集933张、测试集467张),为单 类 别检测任务,对集装箱箱体上的凹陷、破洞、变形、锈蚀等各类损伤统一标注为“损伤”。集装箱在国际货运周转过程中不可避免地会...
- 我的宿舍电脑没有独立显卡,平时写代码、跑个小脚本没问题,一提“本地跑大模型”就直接劝退。以前刷到别人晒显卡、晒算力,我的第一反应都是“这跟我没关系”。直到这学期有一门课要做文本处理的小项目,我才被迫去搞清楚:大模型到底是怎么跑起来的,普通学生有没有便宜一点的参与方式。就是在这个过程中,我第一次认真认识了昇腾和盘古这两个名字。简单理解,昇腾是华为做 AI 计算的芯片系列,盘古是华为的大模型系列... 我的宿舍电脑没有独立显卡,平时写代码、跑个小脚本没问题,一提“本地跑大模型”就直接劝退。以前刷到别人晒显卡、晒算力,我的第一反应都是“这跟我没关系”。直到这学期有一门课要做文本处理的小项目,我才被迫去搞清楚:大模型到底是怎么跑起来的,普通学生有没有便宜一点的参与方式。就是在这个过程中,我第一次认真认识了昇腾和盘古这两个名字。简单理解,昇腾是华为做 AI 计算的芯片系列,盘古是华为的大模型系列...
- 一、先说结论做 Agent 强化学习的人大概都踩过这个坑:在自家 harness 上训出来的模型,换到 Claude Code 或另一个框架里,分数直接掉一大截。原因不神秘。现有 Agentic RL 几乎都是在单一固定 harness 上训练策略——一套系统提示词、一套工具接口、一套上下文管理方式、一套执行流程。模型很快学会的不是"怎么解决任务",而是"怎么用这套特定界面解决任务"。一旦... 一、先说结论做 Agent 强化学习的人大概都踩过这个坑:在自家 harness 上训出来的模型,换到 Claude Code 或另一个框架里,分数直接掉一大截。原因不神秘。现有 Agentic RL 几乎都是在单一固定 harness 上训练策略——一套系统提示词、一套工具接口、一套上下文管理方式、一套执行流程。模型很快学会的不是"怎么解决任务",而是"怎么用这套特定界面解决任务"。一旦...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签