- Transformer架构的简要解析Transformer架构自2017年诞生以来,已经彻底革新了人工智能领域,从最初的机器翻译任务扩展到几乎所有的序列建模问题。这种架构通过纯注意力机制取代了传统的循环和卷积结构,实现了前所未有的并行化能力和长距离依赖建模能力。其核心创新在于自注意力机制能够让序列中的任意两个位置直接交互,打破了RNN的序列处理瓶颈。从GPT到BERT,从ChatGPT到C... Transformer架构的简要解析Transformer架构自2017年诞生以来,已经彻底革新了人工智能领域,从最初的机器翻译任务扩展到几乎所有的序列建模问题。这种架构通过纯注意力机制取代了传统的循环和卷积结构,实现了前所未有的并行化能力和长距离依赖建模能力。其核心创新在于自注意力机制能够让序列中的任意两个位置直接交互,打破了RNN的序列处理瓶颈。从GPT到BERT,从ChatGPT到C...
- 大语言模型的核心算法——简要解析 Transformer架构的数学本质与演进 自注意力机制的核心原理Transformer架构的灵魂在于自注意力机制,它允许模型在处理序列中的每个元素时,动态地关注序列中的所有其他位置。从数学角度看,自注意力的计算过程可以表达为:Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{s... 大语言模型的核心算法——简要解析 Transformer架构的数学本质与演进 自注意力机制的核心原理Transformer架构的灵魂在于自注意力机制,它允许模型在处理序列中的每个元素时,动态地关注序列中的所有其他位置。从数学角度看,自注意力的计算过程可以表达为:Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{s...
- #学习笔记# 总是遇到一些名词不太懂,索性就收集下,记录起来,以备不时之需。 #学习笔记# 总是遇到一些名词不太懂,索性就收集下,记录起来,以备不时之需。
- Atune(Automatic Tuning)是华为开发的系统自动调优工具,核心目标是通过算法分析系统负载特征,自动优化 OS、应用等参数以提升性能。 Atune 的算法核心模块(Engine = 引擎),是实现 “自动调优” 的关键。一些核心逻辑包括:分析系统负载特征(如 CPU 密集型、IO 密集型应用);调用内置的优化算法(如机器学习模型、启发式算法),结合负载特征计算最优参数(如内核... Atune(Automatic Tuning)是华为开发的系统自动调优工具,核心目标是通过算法分析系统负载特征,自动优化 OS、应用等参数以提升性能。 Atune 的算法核心模块(Engine = 引擎),是实现 “自动调优” 的关键。一些核心逻辑包括:分析系统负载特征(如 CPU 密集型、IO 密集型应用);调用内置的优化算法(如机器学习模型、启发式算法),结合负载特征计算最优参数(如内核...
- ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索Cai H, Zhu L, Han S. Proxylessnas: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018. 第一章 引言与研究背景神经架构搜索(NAS)在自... ProxylessNAS:直接在目标任务和硬件上进行神经架构搜索Cai H, Zhu L, Han S. Proxylessnas: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018. 第一章 引言与研究背景神经架构搜索(NAS)在自...
- Edge Impulse:面向微型机器学习的MLOps平台深度解析Hymel S, Banbury C, Situnayake D, et al. Edge impulse: An mlops platform for tiny machine learning[J]. arXiv preprint arXiv:2212.03332, 2022. 一、引言与研究背景Edge Impulse... Edge Impulse:面向微型机器学习的MLOps平台深度解析Hymel S, Banbury C, Situnayake D, et al. Edge impulse: An mlops platform for tiny machine learning[J]. arXiv preprint arXiv:2212.03332, 2022. 一、引言与研究背景Edge Impulse...
- 1.定位、目标。2. K-近邻算法涵盖距离度量、k值选择、kd树、鸢尾花种类预测数据集介绍、练一练、交叉验证网格搜索、facebook签到位置预测案例。3. 线性回归包括线性回归简介、线性回归损失和优化、梯度下降法介绍、波士顿房价预测案例、欠拟合和过拟合、正则化线性模型、正规方程推导方式、梯度下降法算法比较优化、维灾难。4. 逻辑回归涵盖逻辑回归介绍、癌症分类预测案例(良恶性乳 1.定位、目标。2. K-近邻算法涵盖距离度量、k值选择、kd树、鸢尾花种类预测数据集介绍、练一练、交叉验证网格搜索、facebook签到位置预测案例。3. 线性回归包括线性回归简介、线性回归损失和优化、梯度下降法介绍、波士顿房价预测案例、欠拟合和过拟合、正则化线性模型、正规方程推导方式、梯度下降法算法比较优化、维灾难。4. 逻辑回归涵盖逻辑回归介绍、癌症分类预测案例(良恶性乳
- 1.机器学习常用科学计算库包括基础定位、目标。2. 人工智能概述涵盖人工智能应用场景、人工智能小案例、人工智能发展必备三要素、人工智能机器学习和深度学习。3. 机器学习概述包括机器学习工作流程、什么是机器学习、模型评估(回归模型评估、拟合)、Azure机器学习模型搭建、完整机器学习项目流程。4. 机器学习基础环境安装与使用包括Jupyter Notebook使用(一级标题、Ju 1.机器学习常用科学计算库包括基础定位、目标。2. 人工智能概述涵盖人工智能应用场景、人工智能小案例、人工智能发展必备三要素、人工智能机器学习和深度学习。3. 机器学习概述包括机器学习工作流程、什么是机器学习、模型评估(回归模型评估、拟合)、Azure机器学习模型搭建、完整机器学习项目流程。4. 机器学习基础环境安装与使用包括Jupyter Notebook使用(一级标题、Ju
- 在人工智能研究中,传统的AI系统通常针对单一任务进行优化,缺乏跨任务的知识迁移能力。而**多任务学习(Multi-Task Learning, MTL)**通过在同一模型中同时学习多个相关任务,使AI Agent能够在不同情境下实现自适应推理与决策。这种机制不仅提升了数据利用效率,还增强了系统的泛化能力。 在人工智能研究中,传统的AI系统通常针对单一任务进行优化,缺乏跨任务的知识迁移能力。而**多任务学习(Multi-Task Learning, MTL)**通过在同一模型中同时学习多个相关任务,使AI Agent能够在不同情境下实现自适应推理与决策。这种机制不仅提升了数据利用效率,还增强了系统的泛化能力。
- 运维告警不是“玄学”:聊聊怎么用机器学习优化事件关联分析 运维告警不是“玄学”:聊聊怎么用机器学习优化事件关联分析
- AI推荐系统:如何悄无声息地重塑你的购物车? ——从“人找货”到“货找人”的底层逻辑与实战拆解本文目标:用一次“完整购物旅程”带你穿透推荐系统的黑箱,既看懂淘宝/抖音为何“比你更懂你”,也能亲手搭一个工业级召回+排序+策略引擎,并落地到真实电商数据集。读完你将获得:一张可套用的“购物体验提升”技术地图三段可直接运行的 Python 代码(召回→排序→策略),覆盖 10⁶ 级商品池一套可量化... AI推荐系统:如何悄无声息地重塑你的购物车? ——从“人找货”到“货找人”的底层逻辑与实战拆解本文目标:用一次“完整购物旅程”带你穿透推荐系统的黑箱,既看懂淘宝/抖音为何“比你更懂你”,也能亲手搭一个工业级召回+排序+策略引擎,并落地到真实电商数据集。读完你将获得:一张可套用的“购物体验提升”技术地图三段可直接运行的 Python 代码(召回→排序→策略),覆盖 10⁶ 级商品池一套可量化...
- MINUN: 微控制器上的精确机器学习推理Jaiswal S, Goli R K K, Kumar A, et al. MinUn: Accurate ML inference on microcontrollers[C]//Proceedings of the 24th ACM SIGPLAN/SIGBED International Conference on Languages, C... MINUN: 微控制器上的精确机器学习推理Jaiswal S, Goli R K K, Kumar A, et al. MinUn: Accurate ML inference on microcontrollers[C]//Proceedings of the 24th ACM SIGPLAN/SIGBED International Conference on Languages, C...
- 在当今大数据与人工智能的浪潮中,如何高效地处理和分析高维数据成为亟待解决的重要问题。随着传感器技术、基因测序、金融交易与互联网应用的发展,数据维度呈现爆炸式增长。虽然高维数据蕴含着丰富的潜在信息,但过多的冗余和噪声特征往往导致“维度灾难”(Curse of Dimensionality),严重影响模型的训练效率与泛化能力。 在当今大数据与人工智能的浪潮中,如何高效地处理和分析高维数据成为亟待解决的重要问题。随着传感器技术、基因测序、金融交易与互联网应用的发展,数据维度呈现爆炸式增长。虽然高维数据蕴含着丰富的潜在信息,但过多的冗余和噪声特征往往导致“维度灾难”(Curse of Dimensionality),严重影响模型的训练效率与泛化能力。
- MCUNetV2:面向微型深度学习的内存高效分块推理方法Ji Lin, Wei-Ming Chen, Han Cai, Chuang Gan, and Song Han. 2021. MCUNetV2: memory-efficient patch-based inference for tiny deep learning. In Proceedings of the 35th Inte... MCUNetV2:面向微型深度学习的内存高效分块推理方法Ji Lin, Wei-Ming Chen, Han Cai, Chuang Gan, and Song Han. 2021. MCUNetV2: memory-efficient patch-based inference for tiny deep learning. In Proceedings of the 35th Inte...
- TensorFlow Lite Micro:嵌入式TinyML系统上的机器学习推理框架深度解析David R, Duke J, Jain A, et al. Tensorflow lite micro: Embedded machine learning for tinyml systems[J]. Proceedings of machine learning and systems, ... TensorFlow Lite Micro:嵌入式TinyML系统上的机器学习推理框架深度解析David R, Duke J, Jain A, et al. Tensorflow lite micro: Embedded machine learning for tinyml systems[J]. Proceedings of machine learning and systems, ...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签