- tensorflow自带的评估器(estimator)有Pre-made模式,可以轻松启动第一个深度学习模型。 tensorflow自带的评估器(estimator)有Pre-made模式,可以轻松启动第一个深度学习模型。
- 作者:Dawes转载来源:黄大年茶思屋凌晨一点,我合上笔记本电脑,屏幕右下角的AI助手弹出提示“已自动整理今日项目文档,生成3版技术方案对比报告,待你明日确认。”窗外的写字楼仍亮着零星灯光,其中几盏属于隔壁的自动驾驶研发中心——就像过去一年里无数个深夜一样,AI正在以不同形式融入行业的每一个角落。作为一名深耕大模型与行业应用的AI从业者,2025年于我而言,不仅是技术迭代的“加速年”,更是A... 作者:Dawes转载来源:黄大年茶思屋凌晨一点,我合上笔记本电脑,屏幕右下角的AI助手弹出提示“已自动整理今日项目文档,生成3版技术方案对比报告,待你明日确认。”窗外的写字楼仍亮着零星灯光,其中几盏属于隔壁的自动驾驶研发中心——就像过去一年里无数个深夜一样,AI正在以不同形式融入行业的每一个角落。作为一名深耕大模型与行业应用的AI从业者,2025年于我而言,不仅是技术迭代的“加速年”,更是A...
- 文章转载了【空间数据研究所】的最新POI数据,数据比较新。需要科研和做数据处理的朋友可以重点关注。 文章转载了【空间数据研究所】的最新POI数据,数据比较新。需要科研和做数据处理的朋友可以重点关注。
- 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。
- 本文详解推荐系统多级缓存中的准入淘汰策略,涵盖基于访问频次、概率、ShowClick等准入机制,以及基于时间、L2范数、频次等淘汰机制,结合CPU-PS控制流程与NPU执行优化,实现缓存资源高效利用,提升模型训练效率与推荐精度。 本文详解推荐系统多级缓存中的准入淘汰策略,涵盖基于访问频次、概率、ShowClick等准入机制,以及基于时间、L2范数、频次等淘汰机制,结合CPU-PS控制流程与NPU执行优化,实现缓存资源高效利用,提升模型训练效率与推荐精度。
- 嵌入表分片与哈希管理:支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示:在推荐系统中,大部分ID的原始特征都是离散型(global ids),因为其取值空间巨大且稀疏(如用户ID或物品ID可能达到百万甚至亿级别),直接作为输入会导致嵌入表维度爆炸,引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号(hash indices),从而压缩特征空间,实现高效存储和查询。Ha... 嵌入表分片与哈希管理:支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示:在推荐系统中,大部分ID的原始特征都是离散型(global ids),因为其取值空间巨大且稀疏(如用户ID或物品ID可能达到百万甚至亿级别),直接作为输入会导致嵌入表维度爆炸,引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号(hash indices),从而压缩特征空间,实现高效存储和查询。Ha...
- 1、问题与挑战推荐系统中的用户(User)、物品(Item)及上下文(Context)特征具有高度异构性,其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络(DNN),须通过Embedding技术将其映射为统一的低维稠密向量表示,从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果,满足用户个性化推荐的需求,加速互联网电商企业快速变现。如下图所示:近10年来推荐... 1、问题与挑战推荐系统中的用户(User)、物品(Item)及上下文(Context)特征具有高度异构性,其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络(DNN),须通过Embedding技术将其映射为统一的低维稠密向量表示,从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果,满足用户个性化推荐的需求,加速互联网电商企业快速变现。如下图所示:近10年来推荐...
- 问题:在使用lightgbm的时候,如果希望结果更平滑、更具有趋势性,那么应该如何调整参数 答案:在使用LightGBM时,如果你希望模型的预测结果更平滑且更具有趋势性,可以考虑调整以下几个参数:num_leaves:减少num_leaves的值可以使得模型更简单,从而减少过拟合,使结果更平滑。通常可以尝试从较小的值开始,如31或15。max_depth:限制树的最大深度。较小的深度可以防... 问题:在使用lightgbm的时候,如果希望结果更平滑、更具有趋势性,那么应该如何调整参数 答案:在使用LightGBM时,如果你希望模型的预测结果更平滑且更具有趋势性,可以考虑调整以下几个参数:num_leaves:减少num_leaves的值可以使得模型更简单,从而减少过拟合,使结果更平滑。通常可以尝试从较小的值开始,如31或15。max_depth:限制树的最大深度。较小的深度可以防...
- 很多开发者学 Python 都是东拼西凑,学完基础不知道怎么做项目,学完框架不懂底层原理。最近整理了一套比较系统的学习资源,从基础语法到架构设计都有覆盖,分享给需要的朋友。 什么是真正的 Python 全栈开发在整理学习资料时,发现很多同学对"全栈开发"这个概念理解得比较模糊。到底需要掌握哪些技术?各模块之间是什么关系?今天结合一套比较完整的课程大纲,系统拆解一下 Python 全栈开发的技... 很多开发者学 Python 都是东拼西凑,学完基础不知道怎么做项目,学完框架不懂底层原理。最近整理了一套比较系统的学习资源,从基础语法到架构设计都有覆盖,分享给需要的朋友。 什么是真正的 Python 全栈开发在整理学习资料时,发现很多同学对"全栈开发"这个概念理解得比较模糊。到底需要掌握哪些技术?各模块之间是什么关系?今天结合一套比较完整的课程大纲,系统拆解一下 Python 全栈开发的技...
- 大模型API调用会用,但不理解背后原理?微调训练无从下手?本文从底层架构到工程实践,拆解完整技术路径。 大模型技术体系全景:从原理到工程实践随着ChatGPT引发的AI浪潮,大模型技术已成为开发者必备技能。但从API调用到深入理解架构原理,再到企业级应用落地,中间存在明显的知识断层。本文整理了一套完整的学习资源,帮助开发者系统掌握大模型技术栈。 技术栈覆盖范围基础理论层内容涵盖必要的数学基础... 大模型API调用会用,但不理解背后原理?微调训练无从下手?本文从底层架构到工程实践,拆解完整技术路径。 大模型技术体系全景:从原理到工程实践随着ChatGPT引发的AI浪潮,大模型技术已成为开发者必备技能。但从API调用到深入理解架构原理,再到企业级应用落地,中间存在明显的知识断层。本文整理了一套完整的学习资源,帮助开发者系统掌握大模型技术栈。 技术栈覆盖范围基础理论层内容涵盖必要的数学基础...
- 算力是衡量计算系统处理数据能力的重要指标,其单位根据计算规模和应用场景的不同,形成了一套完整的量级体系。以下是算力单位的详细分类及说明:一、基础算力单位:FLOPS 家族1. FLOPS(每秒浮点运算次数)定义:Floating Point Operations Per Second 的缩写,是衡量浮点计算能力的核心单位,适用于科学计算、AI 训练等场景。细分单位(按量级递增):1 FLOP... 算力是衡量计算系统处理数据能力的重要指标,其单位根据计算规模和应用场景的不同,形成了一套完整的量级体系。以下是算力单位的详细分类及说明:一、基础算力单位:FLOPS 家族1. FLOPS(每秒浮点运算次数)定义:Floating Point Operations Per Second 的缩写,是衡量浮点计算能力的核心单位,适用于科学计算、AI 训练等场景。细分单位(按量级递增):1 FLOP...
- 使用torch+mindspeed训练时,可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错,plog日志内容如下:上图中给出以下信息:1,本端device id(5)、本端rank(1)、对端rank(2)。本端rank和对端rank表示的是在通信域内的rank编号,如果是子通信域,需要注意devic... 使用torch+mindspeed训练时,可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错,plog日志内容如下:上图中给出以下信息:1,本端device id(5)、本端rank(1)、对端rank(2)。本端rank和对端rank表示的是在通信域内的rank编号,如果是子通信域,需要注意devic...
- 在当今数字化的工作环境中,员工上网行为监控软件对于企业的信息安全和生产效率至关重要。Scikit - learn 作为一款强大的机器学习库,为监控数据的分类提供了高效且实用的解决方案。数据准备阶段首先,我们需要收集和整理员工上网行为的数据。这些数据可能包括访问的网址、使用的应用程序、访问时间等信息。假设我们已经将这些数据整理成了一个 CSV 文件,其中每一行代表一次上网行为记录,列则分别对应... 在当今数字化的工作环境中,员工上网行为监控软件对于企业的信息安全和生产效率至关重要。Scikit - learn 作为一款强大的机器学习库,为监控数据的分类提供了高效且实用的解决方案。数据准备阶段首先,我们需要收集和整理员工上网行为的数据。这些数据可能包括访问的网址、使用的应用程序、访问时间等信息。假设我们已经将这些数据整理成了一个 CSV 文件,其中每一行代表一次上网行为记录,列则分别对应...
- 文章目录 简介代码复现sklearn库调用 简介 K近邻(K Nearest Neighbors,KNN)算法是最简单的分类算法之一,也就是根据现有训练数据判断输入样本是属于哪一个类别... 文章目录 简介代码复现sklearn库调用 简介 K近邻(K Nearest Neighbors,KNN)算法是最简单的分类算法之一,也就是根据现有训练数据判断输入样本是属于哪一个类别...
- 目录 简介论文简介ABSTRACT1 INTRODUCTION2 RELATED WORK2.1 Network Embedding2.2 Sample Selection 5 CONCLUS... 目录 简介论文简介ABSTRACT1 INTRODUCTION2 RELATED WORK2.1 Network Embedding2.2 Sample Selection 5 CONCLUS...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中
热门标签