- 开发者
- Atlas
#Atlas#
- 神经网络构造中,算子组成了不同应用功能的网络结构。而张量加速引擎(Tensor Boost Engine)作为算子的兵工厂,为基于昇腾AI处理器运行的神经网络提供算子开发能力,用TBE语言编写的TBE算子来构建各种神经网络模型。同时,TBE对算子也提供了封装调用能力。在TBE中有一个优化过的神经网络TBE标准算子库,开发者可以直接利用标准算子库中的算子实现高性能的神经网络计算。除此之外,TB... 神经网络构造中,算子组成了不同应用功能的网络结构。而张量加速引擎(Tensor Boost Engine)作为算子的兵工厂,为基于昇腾AI处理器运行的神经网络提供算子开发能力,用TBE语言编写的TBE算子来构建各种神经网络模型。同时,TBE对算子也提供了封装调用能力。在TBE中有一个优化过的神经网络TBE标准算子库,开发者可以直接利用标准算子库中的算子实现高性能的神经网络计算。除此之外,TB...
- 鉴于广大开发者在模型迁移到Ascend 310处理器过程中遇到诸多模型性能瓶颈,导致应用受限。本文主要内容涉及模型性能分析工具、分析思路、提升模型性能的解决方案,旨在帮助大家更好的利用我司产品,将模型性能调到最优,提高产品竞争力。由于能力及资源有限,文中不妥之处恳请广大读者批评指正及补充。 昇腾310处理器由DVPP、Ctrl CPU、AI CPU、AI Core等组成。AI ... 鉴于广大开发者在模型迁移到Ascend 310处理器过程中遇到诸多模型性能瓶颈,导致应用受限。本文主要内容涉及模型性能分析工具、分析思路、提升模型性能的解决方案,旨在帮助大家更好的利用我司产品,将模型性能调到最优,提高产品竞争力。由于能力及资源有限,文中不妥之处恳请广大读者批评指正及补充。 昇腾310处理器由DVPP、Ctrl CPU、AI CPU、AI Core等组成。AI ...
- 问题现象描述问题现象:一台Atlas800 3010服务器,能ping通,但是无法ssh进去,BMC也进不去(能看到界面,无法登陆),如下图,服务器显示界面:BMC相关错误日志:关键过程、根本原因分析关键过程:1、Atlas 800 3010部署ISV业务软件,一台2288H V5服务器配置5张Atlas 300 3010加速卡。2、加载128路1080P 视频流运行视频结构化业务。3、突然... 问题现象描述问题现象:一台Atlas800 3010服务器,能ping通,但是无法ssh进去,BMC也进不去(能看到界面,无法登陆),如下图,服务器显示界面:BMC相关错误日志:关键过程、根本原因分析关键过程:1、Atlas 800 3010部署ISV业务软件,一台2288H V5服务器配置5张Atlas 300 3010加速卡。2、加载128路1080P 视频流运行视频结构化业务。3、突然...
- 之前的课,我们分享了Atlas性能调优之瓶颈分析、流程编排以及编解码的内容,今天,我们将为大家带来Atlas性能调优之内存管理的分享!相对于其他编程语言,C/C++在内存的管理上更为灵活,这给程序带来了更高的性能,但用户需要自己管理内存,比较容易掉入各种陷阱中。本文将介绍下在开发AI应用的时候,如何进行安全高效的内存管理。Atlas 200 DK上是昇腾310处理器做主控,程序直接运行在处理... 之前的课,我们分享了Atlas性能调优之瓶颈分析、流程编排以及编解码的内容,今天,我们将为大家带来Atlas性能调优之内存管理的分享!相对于其他编程语言,C/C++在内存的管理上更为灵活,这给程序带来了更高的性能,但用户需要自己管理内存,比较容易掉入各种陷阱中。本文将介绍下在开发AI应用的时候,如何进行安全高效的内存管理。Atlas 200 DK上是昇腾310处理器做主控,程序直接运行在处理...
- 前面三节课,我们分享了Atlas性能调优之瓶颈分析、流程编排以及编解码的内容,今天,我们将为大家带来Atlas性能调优之内存管理的分享! 前面三节课,我们分享了Atlas性能调优之瓶颈分析、流程编排以及编解码的内容,今天,我们将为大家带来Atlas性能调优之内存管理的分享!
- 问题现象描述问题现象:运行288路rtsp流人脸识别业务,业务长时间稳定性测试过程中,host端内存不断下降,直到500M~1G左右,host端日志报错,无法申请内存,如图所示:关键过程、根本原因分析关键过程:1、业务刚开始运行,查询内存使用情况,服务器操作系统total:125G,used:28G,free:85G,buff/cache:11G,如下图:2、随着稳定性测试时间加长,free... 问题现象描述问题现象:运行288路rtsp流人脸识别业务,业务长时间稳定性测试过程中,host端内存不断下降,直到500M~1G左右,host端日志报错,无法申请内存,如图所示:关键过程、根本原因分析关键过程:1、业务刚开始运行,查询内存使用情况,服务器操作系统total:125G,used:28G,free:85G,buff/cache:11G,如下图:2、随着稳定性测试时间加长,free...
- 问题现象一问题现象:安装MindStudio的过程中,日志出现创建Mind-Studio文件夹失败情况,如下图:关键过程、根本原因分析根本原因分析:1、由错误日志可看出,创建Mind-Studio文件权限不够。2、返回上一级目录,发现目录的用户组是root:root。3、修改目录的用户组为安装Mind-Studio的自定义用户组。4、安装成功。问题现象二问题现象:安装MindStudio的过... 问题现象一问题现象:安装MindStudio的过程中,日志出现创建Mind-Studio文件夹失败情况,如下图:关键过程、根本原因分析根本原因分析:1、由错误日志可看出,创建Mind-Studio文件权限不够。2、返回上一级目录,发现目录的用户组是root:root。3、修改目录的用户组为安装Mind-Studio的自定义用户组。4、安装成功。问题现象二问题现象:安装MindStudio的过...
- 问题现象描述硬件配置: Atlas 500问题现象:1. Case1:客户服务放在了/home/mmc目录,硬盘在/home/mmc目录,一段时间后,该目录消失。客户不确定期间是否有reboot操作,且日志已经无法收集。2. Case2:没有挂载硬盘,客户升级固件后寄到客户现场,客户开机发现客户署服务的/home/mmc目录消失。关键过程、根本原因分析关键过程... 问题现象描述硬件配置: Atlas 500问题现象:1. Case1:客户服务放在了/home/mmc目录,硬盘在/home/mmc目录,一段时间后,该目录消失。客户不确定期间是否有reboot操作,且日志已经无法收集。2. Case2:没有挂载硬盘,客户升级固件后寄到客户现场,客户开机发现客户署服务的/home/mmc目录消失。关键过程、根本原因分析关键过程...
- 问题现象描述硬件配置:Atlas 200DK问题现象:用户在Atlas200DK上运行程序失败,log显示找不到链接库libavcodec.so。如图1所示:图1 关键过程、根本原因分析关键过程:Log的错误显示,程序不能找到ffmpeg动态库中libavcodec.so.58库文件,加载失败,导致错误。首先查看客户的编译环境是否含有ffmpeg库文件,发现用户的编译环境中是含有ffmpeg... 问题现象描述硬件配置:Atlas 200DK问题现象:用户在Atlas200DK上运行程序失败,log显示找不到链接库libavcodec.so。如图1所示:图1 关键过程、根本原因分析关键过程:Log的错误显示,程序不能找到ffmpeg动态库中libavcodec.so.58库文件,加载失败,导致错误。首先查看客户的编译环境是否含有ffmpeg库文件,发现用户的编译环境中是含有ffmpeg...
- 问题现象描述:问题现象:客户在运行视频分析业务时,业务流程如下图:当执行人脸登记业务时,即上图中的左边支路,会使得device侧程序core dump。 关键过程、根本原因分析关键过程:1.通过gdb调试,确定core dump发生于视频流解码处:如下图所示:2.排查memcpy失败原因。将memcpy处理的内存地址以及内存大小进行打印,发现内存大小正确如下图所示。因此不会因为内存越界导致m... 问题现象描述:问题现象:客户在运行视频分析业务时,业务流程如下图:当执行人脸登记业务时,即上图中的左边支路,会使得device侧程序core dump。 关键过程、根本原因分析关键过程:1.通过gdb调试,确定core dump发生于视频流解码处:如下图所示:2.排查memcpy失败原因。将memcpy处理的内存地址以及内存大小进行打印,发现内存大小正确如下图所示。因此不会因为内存越界导致m...
- 手把手教你如何提高性能,告别瓶颈。 手把手教你如何提高性能,告别瓶颈。
- 框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前,框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型,并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时,框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源,将离线模型、数据和达芬奇架构三者进行结合,优化执行流程得出神经网络的应用输出。功能框架框架管理器包... 框架管理器协同TBE为神经网络生成可执行的离线模型。在神经网络执行之前,框架管理器与昇腾AI处理器紧密结合生成硬件匹配的高性能离线模型,并拉通了流程编排器和运行管理器使得离线模型和昇腾AI处理器进行深度融合。在神经网络执行时,框架管理器联合了流程编排器、运行管理器、任务调度器以及底层的硬件资源,将离线模型、数据和达芬奇架构三者进行结合,优化执行流程得出神经网络的应用输出。功能框架框架管理器包...
- 任务调度器与运行管理器工程组成软硬件之间的大坝系统。在执行时,任务调度器对硬件进行任务的驱动,为昇腾AI处理器提供具体的目标任务,与运行管理器一起完成任务调度流程,并将输出数据回送给运行管理器,充当了一个任务输送分发和数据回传的通道。功能简介任务调度器运行在设备侧的任务调度CPU上,负责将运行管理器分发的具体任务进一步派发到AI CPU上。它也可以通过硬件任务块调度器(Block Sched... 任务调度器与运行管理器工程组成软硬件之间的大坝系统。在执行时,任务调度器对硬件进行任务的驱动,为昇腾AI处理器提供具体的目标任务,与运行管理器一起完成任务调度流程,并将输出数据回送给运行管理器,充当了一个任务输送分发和数据回传的通道。功能简介任务调度器运行在设备侧的任务调度CPU上,负责将运行管理器分发的具体任务进一步派发到AI CPU上。它也可以通过硬件任务块调度器(Block Sched...
- 问题现象描述问题现象:在C30B896版本,安装完驱动后,使用npu-smi工具查询芯片,出现文件找不到情况,如下图:根本原因分析1、/lib64/目录下缺少npu-smi工具所依赖的动态链接库。结论、解决方案及效果结论:1、 如果执行npu-smi工具,提示“No such file or directory”,说明/lib64/目录下缺少ld-linux-aarch64.so.1文件,... 问题现象描述问题现象:在C30B896版本,安装完驱动后,使用npu-smi工具查询芯片,出现文件找不到情况,如下图:根本原因分析1、/lib64/目录下缺少npu-smi工具所依赖的动态链接库。结论、解决方案及效果结论:1、 如果执行npu-smi工具,提示“No such file or directory”,说明/lib64/目录下缺少ld-linux-aarch64.so.1文件,...
- 问题现象描述问题现象:在C30B890版本,人脸识别业务中批量处理图片,处理一定数量图片后出现异常现象,如下图所示,处理37486张图片后senddata时延过大:Device端异常日志如下: 关键过程、根本原因分析关键过程:1、host端使用HIAI_DMalloc申请内存分别加载一个图片库的图片,进行批量处理。2、使用高速序列化函数进行跨侧传输图片数据,解码和缩放功能的输入内存都是由框架... 问题现象描述问题现象:在C30B890版本,人脸识别业务中批量处理图片,处理一定数量图片后出现异常现象,如下图所示,处理37486张图片后senddata时延过大:Device端异常日志如下: 关键过程、根本原因分析关键过程:1、host端使用HIAI_DMalloc申请内存分别加载一个图片库的图片,进行批量处理。2、使用高速序列化函数进行跨侧传输图片数据,解码和缩放功能的输入内存都是由框架...
上滑加载中
推荐直播
-
让你的应用用上GaussDB
2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注,伙伴们想知道什么时候该选用,开发者也跃跃欲试想尝鲜。课程会分享适用的场景,并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会
2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办,本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用,围绕AI如何在千行万业落地进行深入交流,探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会
2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签