- 网上有许多DeepSeek训练技术的相关文章,但大部分都涉及到大量技术术语,非专业人士不容易理解。为了让大家能够快速理解DeepSeek,笔者把网络知识结合自己的思考,用一种通俗的方式来给大家讲解DeepSeek的训练技术。 DeepSeek-R1中提到的模型训练流程如下: 看不懂?没关系,接下来我们用通俗的例子来讲明白里面原理。 01 R1-Zero (R1模型的前世)DeepSeek团队... 网上有许多DeepSeek训练技术的相关文章,但大部分都涉及到大量技术术语,非专业人士不容易理解。为了让大家能够快速理解DeepSeek,笔者把网络知识结合自己的思考,用一种通俗的方式来给大家讲解DeepSeek的训练技术。 DeepSeek-R1中提到的模型训练流程如下: 看不懂?没关系,接下来我们用通俗的例子来讲明白里面原理。 01 R1-Zero (R1模型的前世)DeepSeek团队...
- 文章来源于时习知公众号全文约2421字,阅读约需8分钟随着人工智能技术的快速迭代,AI知识库作为企业智能化转型的核心基础设施,已成为数据价值转化的重要载体。然而,AI知识库是一个包含大量事实、规则和关系的数据库,用于支持AI系统的知识表示(知识表示是将关于世界的信息表示为符合机器处理的模式,用于模拟人对世界的认知和推理,以解决人工智能中的复杂任务)和推理,AI知识库的高效运作与价值释放高度依... 文章来源于时习知公众号全文约2421字,阅读约需8分钟随着人工智能技术的快速迭代,AI知识库作为企业智能化转型的核心基础设施,已成为数据价值转化的重要载体。然而,AI知识库是一个包含大量事实、规则和关系的数据库,用于支持AI系统的知识表示(知识表示是将关于世界的信息表示为符合机器处理的模式,用于模拟人对世界的认知和推理,以解决人工智能中的复杂任务)和推理,AI知识库的高效运作与价值释放高度依...
- Dify应用开发平台的文档知识库默认保存在服务器磁盘上,不好维护且随着文档数据逐渐增大磁盘有占满风险,本文档主要帮助您将Dify的知识库挂载在对象存储服务OBS上。 Dify应用开发平台的文档知识库默认保存在服务器磁盘上,不好维护且随着文档数据逐渐增大磁盘有占满风险,本文档主要帮助您将Dify的知识库挂载在对象存储服务OBS上。
- Dify是一款开源的 LLM 应用开发平台,提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。本文将带你快速搭建基于DeepSeek-R1-Distill-Qwen-32B的Dify工作流最佳实践,实现从知识库或者搜索引擎进行检索。 Dify是一款开源的 LLM 应用开发平台,提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。本文将带你快速搭建基于DeepSeek-R1-Distill-Qwen-32B的Dify工作流最佳实践,实现从知识库或者搜索引擎进行检索。
- 文章来源于时习知公众号全文约2029字,阅读约需7分钟。随着人工智能技术的快速发展,AI Agent成为大模型研究的热点。AI Agent是一种具备主动思考和行动能力的智能体,能够自主感知环境、形成记忆、规划和执行任务,并能与其他Agent协作。但是AI Agent的发展也面临较多的挑战,下面我们就来深入探讨一下。 01 AI Agent发展现状 AI Agent是指通过训练大规模的神经网... 文章来源于时习知公众号全文约2029字,阅读约需7分钟。随着人工智能技术的快速发展,AI Agent成为大模型研究的热点。AI Agent是一种具备主动思考和行动能力的智能体,能够自主感知环境、形成记忆、规划和执行任务,并能与其他Agent协作。但是AI Agent的发展也面临较多的挑战,下面我们就来深入探讨一下。 01 AI Agent发展现状 AI Agent是指通过训练大规模的神经网...
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。
- 在昇腾AI异构计算架构CANN最新推出的8.0版本中,基于LLM P-D分离部署方案设计并发布LLM-DataDist组件,API简单易用,可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成,并在近一年支撑了多个大模型业务的规模化商用。 在昇腾AI异构计算架构CANN最新推出的8.0版本中,基于LLM P-D分离部署方案设计并发布LLM-DataDist组件,API简单易用,可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成,并在近一年支撑了多个大模型业务的规模化商用。
- 近日,在华为全联接大会2024期间,华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。 近日,在华为全联接大会2024期间,华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。
- 异构计算与人工智能的关系是什么?昇腾AI异构计算架构CANN是什么?有哪些主要特点?开发者如何利用CANN的原生能力进行大模型创新,构筑差异化竞争力?带着这些问题,我们来认识昇腾AI异构计算架构——CANN。 异构计算与人工智能的关系是什么?昇腾AI异构计算架构CANN是什么?有哪些主要特点?开发者如何利用CANN的原生能力进行大模型创新,构筑差异化竞争力?带着这些问题,我们来认识昇腾AI异构计算架构——CANN。
- 本文给读者介绍了HCCL算法开发所涉及的概念和流程,并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍,读者读完后,可结合HCCL开放代码仓中的算法样例,做深入研究。 本文给读者介绍了HCCL算法开发所涉及的概念和流程,并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍,读者读完后,可结合HCCL开放代码仓中的算法样例,做深入研究。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。
- 目前已经有越来越多的开发者使用Ascend C,我们将通过几期“Ascend C算子性能优化”专题分享,围绕开发者最为关心的算子性能优化环节,介绍Ascend C算子常用的优化技巧,帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧,从方案讲解、优化案例、性能对比等多角度展开介绍。 目前已经有越来越多的开发者使用Ascend C,我们将通过几期“Ascend C算子性能优化”专题分享,围绕开发者最为关心的算子性能优化环节,介绍Ascend C算子常用的优化技巧,帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧,从方案讲解、优化案例、性能对比等多角度展开介绍。
- 为加速大模型算力释放,昇腾提供AOL(Ascend Operator Library)算子加速库,不仅覆盖Softmax、MatMul等基础算子,也包括了大模型结构泛化的Flash Attention等高性能融合算子,开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。 为加速大模型算力释放,昇腾提供AOL(Ascend Operator Library)算子加速库,不仅覆盖Softmax、MatMul等基础算子,也包括了大模型结构泛化的Flash Attention等高性能融合算子,开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。
- GE(Graph Engine)将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道,在模型为静态shape时,由于其输入tensor shape固定不变,在编译时就能确定所有算子的输入输出shape,并能提前完成模型级内存编排、tiling计算等Host调度工作,因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行,从而提升模型调度性能。 GE(Graph Engine)将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道,在模型为静态shape时,由于其输入tensor shape固定不变,在编译时就能确定所有算子的输入输出shape,并能提前完成模型级内存编排、tiling计算等Host调度工作,因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行,从而提升模型调度性能。
上滑加载中