-
自己有数据集,但是标注文件是.txt,并且标注方式与官方提供的方法也不一样,请问应该如何处理呢?
-
看到ModelArts上有Ascned 910芯片,据华为官方宣传,运算能力是v100的两倍左右,自己选该规格跑了一下训练代码,总是报错,没有跑起来,代码是Pytorch 1.0的,请问怎样才能用Ascend 910把训练作业跑起来?
-
【功能模块】 使用modelArts在Ascend910上训练electra模型是,在进行token mask的时候Multinomial算子输出数据类型错误。【操作步骤&问题现象】[ERROR] GE(169,python):2020-10-05-11:57:41.578.201 [ops/built-in/op_proto/util/util.cpp:97][OP_PROTO] CheckTwoInputDtypeSame:97 OpName:[mul_2] "The mul_2 op dtype is not same, type1:3, type2:9"[ERROR] GE(169,python):2020-10-05-11:57:41.578.326 [common/graph/./shape_refiner.cc:339]787 InferShapeAndType: ErrorNo: -1(failed) Verifying mul_2 failed.查看算子具体参数tf.compat.v1.multinomial(logits, num_samples, seed=None, name=None, output_dtype=None)即使在算子中定义数据类型,但是依然存在infershape报错问题:masked_lm_positions = tf.random.categorical(sample_logits, N, dtype=tf.int32)【日志信息】
-
一、前言学习MindSpore有段时间了,说说我的使用心得吧。我是从一个AI小白开始学习深度学习,步入AI领域的,在接触到MindSpore之前,有听说TF、Pytorch等深度学习框架,但是没有去学习,所以MindSpore可以算是我AI领域的敲门砖吧。MindSpore的安装十分简单,根据官网安装指导即可安装成功。十分流畅,在此便不赘述。二、分享分享一下使用MindSpore1.0训练LeNet网络吧:LeNet5 + MNIST被誉为深度学习领域的“Hello world”。主要介绍使用MindSpore在MNIST手写数字数据集上开发和训练一个LeNet5模型,并验证模型精度。数据集准备MNIST是一个手写数字数据集,训练集包含60000张手写数字,测试集包含10000张手写数字,共10类。MNIST数据集的官网:THE MNIST DATABASE。从官网下载数据集并解压到本地文件夹中。文件结构如下所示。MNIST ├── test │ ├── t10k-images-idx3-ubyte │ └── t10k-labels-idx1-ubyte └── train └── train-images-idx3-ubyte └── train-labels-idx1-ubyte导入MindSpore模块设置MindSpore上下文,如执行模式、设备等。数据处理在使用数据集训练网络前,首先需要对数据进行预处理。图片可视化对其中几张图片进行可视化,可以看到图片中的手写数字,MindSpore1.0的新特性,images和labels是tensor,需要加上asnumpy()方法。定义网络模型训练实例化网络,定义损失函数、优化器等等。MindSpore1.0的nn.loss.SoftmaxCrossEntropyWithLogits删除了is_grad参数。训练结果可以看出 ,loss值在0.07左右,精度达到了97.6%三、心得体会刚学MindSpore的时候,有许多不懂的地方,便在官网教程学习,试着跑样例代码,渐渐掌握了一些知识,其中让我觉得MindSpore的优点首先能在训练的同时进行精度验证并保存相应的模型;而且只要定义回调函数Callback便可实现,十分便捷;其次是MindSpore支持的动态图模式和静态图模式一行代码即可切换;最后是能够使用混合精度进行训练,速度提升了而且还能保持单精度训练所能达到的网络精度。虽然优点众多,但是也有缺点,虽然MindSpore在Ascend上的支持度很高,但是在CPU/GPU上面还有点欠缺,希望能开发MindSpore在Ascend上的支持度很高,但是在CPU/GPU上面还有点欠缺,希望能够完善在CPU/GPU上面所支持的算子等等。MindSpore框架有助于我理解深度学习,从数据的转换、封装到卷积层、池化层和全网络的设计,从训练、测试到推理,实操一遍后,让我对深度学习有了更深层次的认知,还加大了我对LeNet、Resnet50、AlexNet等网络的下去,对算法模型和调参有了更大的兴趣,一遍遍的训练模型以达到最好的训练精度。安装环境硬件环境:CPU内存:8G软件环境:操作系统:Windows10Python:Python 3.7.5个人邮箱:znj254423959@163.com
-
如果你使用预置算法训练的一个模型精度不高,可以尝试以下哪些方法来再次训练,提高模型精度?
-
训练时候有损失函数或者准确率能够评估模型训练的好坏 但是达到什么样的标准能够达到上线使用,从哪些维度进行评估?
-
你好,我在modelArt上使用Ascend 910进行模型训练时遇到报错,日志见附件,主要错误看起来应该是这个:terminate called after throwing an instance of 'std::bad_array_new_length' what(): std::bad_array_new_length看起来好像是在创建新的动态数组时数组长度无效,但是不知道具体是在什么计算过程中报错,能麻烦你们看下吗,谢谢!
-
Modelarts的自动学习的过程中,为什么就选择自动学习就可以进行模型训练了呢?我们能最后知道它是用了什么算法吗?能否也让这个自动学习的过程中可视化的呢?或者说有过程日志让我们看一下。或者有一些比较详细的训练结果报告给我们的呢?让我们可以知道自动学习过程中是如何的一个过程?然后是选择了那个算法来处理这个事情,让黑盒子也曝光一下下给我们看看的呢?
-
Modelarts中的图形分类只能用ResNet50这个算法去训练吗?还可以用其他的算法去做图形分类的吗?
-
modelarts的的训练好的模型能否支持导出模型的呢?然后做AI的私有化部署。就是我有一些场景上,比如以下国企等一些比较特别的环境,可能是需要部署一些机器人到比如地铁、或者一些枢纽交通要点,这样,如果模型和数据在公有云上是比较难于让领导接受的。能否训练好的模型我部署在私有云上呢?或者我就把模型直接部署到我场地的一个机器人上面去呢?
-
【功能模块】用mindspore0.5训练 【操作步骤&问题现象】1、背景:想在mindspore0.5上(单机单卡)训练自定义的模型,已经将模型封装在class(nn.Cell)下(模型结构比较复杂)2、问题:现在每次实例化模型用时很长,大概要20-30分钟(没有load weights)(不论是PYNATIVE_MODE还是GRAPH_MODE)请问是什么原因呢?
-
怎么持续保证训练数据的质量 来增强模型产品的鲁棒性
-
问:排除数据质量问题,假设数据集有100种花卉,没种100张数据,增加训练轮数可以提高模型精度,那么怎么确定合适的轮数来提高精度,是越大越好吗?
-
-
【功能模块】Jupyter Notebook【操作步骤&问题现象】1、我自己手写了一个神经网络代码,就是简单的随机梯度下降和反向传播实现的,没有用框架,数据集是 mnist , 三层网络,784*80*10的2、本地跑代码大概10s训练一轮,电脑是i56200U,主频2.3G,内存4G3、在华为云创建了NoteBook的开发环境,配置选的CPU版本,选的最好的那一档,8核32G,3.4/h那个4、本地代码直接复制到开发环境,运行之5、云端大概8s训练一轮为什么云端这么好的资源,但是运行速度只比我的笔记本快了一点点??【截图信息】【日志信息】(可选,上传日志内容或者附件)
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签