开发者
  • 技术领域
  • 资源工具
  • 云社区
  • 云直播
  • 云学院
  • 大赛
  • 活动
  • 云声·建议
  • 更多
    • AI
    • 云计算
    • 云原生
    • 软件开发
    • 数据库
    • 企业协同
    • IoT
    • 视频
    • 5G
    • 网络
    • 昇腾
    • 智能汽车
    • 智能协作
    • API Explorer
    • OpenAPI
    • SDK
    • 开发工具
    • DevStar
    • Codelabs
    • 开源镜像站
    • 博客
    • 论坛
    • 专题
    • MVP
    • 云享专家
    • HDZ
    • 高校联盟
    • TechWave
    • DevRun开发者沙龙
    • HDZ研习社
    • 学习路径
    • 在线课程
    • 沙箱实验室
    • 微认证
    • 职业认证
    • 培训服务
    • 大赛列表
    • 学习
    • 技术圈
    • 最新活动
    • 沃土计划
    • 云创校园
    • 开发者推广招募
    • 技术领域
    • 资源工具
    • 云社区
    • 云直播
    • 云学院
    • 大赛
    • 云声·建议
  • 开发者
  • 标签
  • 机器学习
关注 已关注

#机器学习#

  • 博客(7.5k)
  • 视频(11)
  • 论坛(0)
  • 云声(0)
  • 代码示例(0)
  • [技术干货] modelare如何训练自己的数据集
    自己有数据集,但是标注文件是.txt,并且标注方式与官方提供的方法也不一样,请问应该如何处理呢?
    实习生小赵 发表于2020-10-20 08:58:23 2020-10-20 08:58:23 最后回复 RoyalKun 2020-10-23 19:49:36
    741 3
    机器学习
  • [训练管理] 怎样才能用上ModelArts的Ascend 910芯片进行训练?
    看到ModelArts上有Ascned 910芯片,据华为官方宣传,运算能力是v100的两倍左右,自己选该规格跑了一下训练代码,总是报错,没有跑起来,代码是Pytorch 1.0的,请问怎样才能用Ascend 910把训练作业跑起来?
    天桥调参师 发表于2020-10-19 17:39:08 2020-10-19 17:39:08 最后回复 可爱又积极 2020-11-08 17:27:24
    2056 6
    AI开发平台ModelArts 机器学习
  • [训练管理] 【modelarts模型训练】【Multinomial算子】Prepare Graph infershape failed
    【功能模块】 使用modelArts在Ascend910上训练electra模型是,在进行token mask的时候Multinomial算子输出数据类型错误。【操作步骤&问题现象】[ERROR] GE(169,python):2020-10-05-11:57:41.578.201 [ops/built-in/op_proto/util/util.cpp:97][OP_PROTO] CheckTwoInputDtypeSame:97 OpName:[mul_2] "The mul_2 op dtype is not same, type1:3, type2:9"[ERROR] GE(169,python):2020-10-05-11:57:41.578.326 [common/graph/./shape_refiner.cc:339]787 InferShapeAndType: ErrorNo: -1(failed) Verifying mul_2 failed.查看算子具体参数tf.compat.v1.multinomial(logits, num_samples, seed=None, name=None, output_dtype=None)即使在算子中定义数据类型,但是依然存在infershape报错问题:masked_lm_positions = tf.random.categorical(sample_logits, N, dtype=tf.int32)【日志信息】
    Tx- 发表于2020-10-19 17:37:00 2020-10-19 17:37:00 最后回复 RoyalKun 2020-10-20 11:26:11
    1182 2
    AI开发平台ModelArts 机器学习
  • [安装经验] MindSpore v1.0使用体验分享
    一、前言学习MindSpore有段时间了,说说我的使用心得吧。我是从一个AI小白开始学习深度学习,步入AI领域的,在接触到MindSpore之前,有听说TF、Pytorch等深度学习框架,但是没有去学习,所以MindSpore可以算是我AI领域的敲门砖吧。MindSpore的安装十分简单,根据官网安装指导即可安装成功。十分流畅,在此便不赘述。二、分享分享一下使用MindSpore1.0训练LeNet网络吧:LeNet5 + MNIST被誉为深度学习领域的“Hello world”。主要介绍使用MindSpore在MNIST手写数字数据集上开发和训练一个LeNet5模型,并验证模型精度。数据集准备MNIST是一个手写数字数据集,训练集包含60000张手写数字,测试集包含10000张手写数字,共10类。MNIST数据集的官网:THE MNIST DATABASE。从官网下载数据集并解压到本地文件夹中。文件结构如下所示。MNIST ├── test │   ├── t10k-images-idx3-ubyte │   └── t10k-labels-idx1-ubyte └── train     └── train-images-idx3-ubyte     └── train-labels-idx1-ubyte导入MindSpore模块设置MindSpore上下文,如执行模式、设备等。数据处理在使用数据集训练网络前,首先需要对数据进行预处理。图片可视化对其中几张图片进行可视化,可以看到图片中的手写数字,MindSpore1.0的新特性,images和labels是tensor,需要加上asnumpy()方法。定义网络模型训练实例化网络,定义损失函数、优化器等等。MindSpore1.0的nn.loss.SoftmaxCrossEntropyWithLogits删除了is_grad参数。训练结果可以看出 ,loss值在0.07左右,精度达到了97.6%三、心得体会刚学MindSpore的时候,有许多不懂的地方,便在官网教程学习,试着跑样例代码,渐渐掌握了一些知识,其中让我觉得MindSpore的优点首先能在训练的同时进行精度验证并保存相应的模型;而且只要定义回调函数Callback便可实现,十分便捷;其次是MindSpore支持的动态图模式和静态图模式一行代码即可切换;最后是能够使用混合精度进行训练,速度提升了而且还能保持单精度训练所能达到的网络精度。虽然优点众多,但是也有缺点,虽然MindSpore在Ascend上的支持度很高,但是在CPU/GPU上面还有点欠缺,希望能开发MindSpore在Ascend上的支持度很高,但是在CPU/GPU上面还有点欠缺,希望能够完善在CPU/GPU上面所支持的算子等等。MindSpore框架有助于我理解深度学习,从数据的转换、封装到卷积层、池化层和全网络的设计,从训练、测试到推理,实操一遍后,让我对深度学习有了更深层次的认知,还加大了我对LeNet、Resnet50、AlexNet等网络的下去,对算法模型和调参有了更大的兴趣,一遍遍的训练模型以达到最好的训练精度。安装环境硬件环境:CPU内存:8G软件环境:操作系统:Windows10Python:Python 3.7.5个人邮箱:znj254423959@163.com
    NengjinZheng 发表于2020-10-19 16:44:01 2020-10-19 16:44:01 最后回复 chengxiaoli 2020-10-26 14:19:24
    1352 1
    深度学习 机器学习
  • [AI人工智能全栈成长...] 【问答官】如果你使用预置算法训练的一个模型精度不高,可以尝试以下哪些方法来再次训练,提高模型精度?
    如果你使用预置算法训练的一个模型精度不高,可以尝试以下哪些方法来再次训练,提高模型精度?
    烟雨十年 发表于2020-10-19 15:10:16 2020-10-19 15:10:16 最后回复 武仙 2020-10-24 12:34:13
    821 3
    机器学习
  • [AI人工智能全栈成长...] 【问答官】如何确定AI产品的上线标准
    训练时候有损失函数或者准确率能够评估模型训练的好坏  但是达到什么样的标准能够达到上线使用,从哪些维度进行评估?
    芳菲菲兮满堂 发表于2020-10-19 14:34:32 2020-10-19 14:34:32 最后回复 andyleung 2020-10-25 22:55:16
    747 3
    人工智能 机器学习
  • [训练管理] modelArt Ascend 910 模型训练报错
    你好,我在modelArt上使用Ascend 910进行模型训练时遇到报错,日志见附件,主要错误看起来应该是这个:terminate called after throwing an instance of 'std::bad_array_new_length'    what():  std::bad_array_new_length看起来好像是在创建新的动态数组时数组长度无效,但是不知道具体是在什么计算过程中报错,能麻烦你们看下吗,谢谢!
    akineeic 发表于2020-10-19 10:56:46 2020-10-19 10:56:46 最后回复 Tianyi_Li 2020-10-19 18:30:38
    986 9
    机器学习
  • [AI人工智能全栈成长...] 【问答官】Modelarts的自动学习的过程中,为什么就选择自动学习就可以进行模型训练了呢?我们能最后知道它是用了什么算法吗?
    Modelarts的自动学习的过程中,为什么就选择自动学习就可以进行模型训练了呢?我们能最后知道它是用了什么算法吗?能否也让这个自动学习的过程中可视化的呢?或者说有过程日志让我们看一下。或者有一些比较详细的训练结果报告给我们的呢?让我们可以知道自动学习过程中是如何的一个过程?然后是选择了那个算法来处理这个事情,让黑盒子也曝光一下下给我们看看的呢?
    emilyleungbaby 发表于2020-10-18 21:52:05 2020-10-18 21:52:05 最后回复 bjxingch 2020-10-22 09:51:09
    631 2
    AI开发平台ModelArts 机器学习
  • [AI人工智能全栈成长...] 【问答官】Modelarts中的图形分类只能用ResNet50这个算法去训练吗?
    Modelarts中的图形分类只能用ResNet50这个算法去训练吗?还可以用其他的算法去做图形分类的吗?
    emilyleungbaby 发表于2020-10-18 21:31:45 2020-10-18 21:31:45 最后回复 andyleung 2020-10-25 23:38:07
    736 3
    AI开发平台ModelArts 机器学习
  • [AI人工智能全栈成长...] 【问答官】modelarts的的训练好的模型能否支持导出模型的呢?然后做AI的私有化部署。
    modelarts的的训练好的模型能否支持导出模型的呢?然后做AI的私有化部署。就是我有一些场景上,比如以下国企等一些比较特别的环境,可能是需要部署一些机器人到比如地铁、或者一些枢纽交通要点,这样,如果模型和数据在公有云上是比较难于让领导接受的。能否训练好的模型我部署在私有云上呢?或者我就把模型直接部署到我场地的一个机器人上面去呢?
    andyleung 发表于2020-10-18 12:41:54 2020-10-18 12:41:54 最后回复 蜡笔不辣 2020-10-26 10:51:11
    1035 4
    AI开发平台ModelArts 人工智能 机器学习
  • [调试调优] mindspore0.5 实例化自定义模型耗时很长
    【功能模块】用mindspore0.5训练 【操作步骤&问题现象】1、背景:想在mindspore0.5上(单机单卡)训练自定义的模型,已经将模型封装在class(nn.Cell)下(模型结构比较复杂)2、问题:现在每次实例化模型用时很长,大概要20-30分钟(没有load weights)(不论是PYNATIVE_MODE还是GRAPH_MODE)请问是什么原因呢?
    Rouchenzi 发表于2020-10-17 03:59:39 2020-10-17 03:59:39 最后回复 Manson 2020-10-20 16:25:24
    1042 4
    机器学习
  • [AI人工智能全栈成长...] 【问答官】怎样持续维护训练数据的质量
    怎么持续保证训练数据的质量 来增强模型产品的鲁棒性
    芳菲菲兮满堂 发表于2020-10-16 16:51:13 2020-10-16 16:51:13 最后回复 emilyleungbaby 2020-10-18 21:48:27
    1036 4
    机器学习
  • [AI人工智能全栈成长...] 【问答官】增加训练轮数可以提高模型精度,那么怎么确定合适的轮数来提高精度,是越大越好吗?
    问:排除数据质量问题,假设数据集有100种花卉,没种100张数据,增加训练轮数可以提高模型精度,那么怎么确定合适的轮数来提高精度,是越大越好吗?
    khg305387543 发表于2020-10-16 15:14:33 2020-10-16 15:14:33 最后回复 andyleung 2020-10-18 16:08:21
    2099 5
    机器学习
  • [部署上线] 自动学习模型训练和部署没有问题,但是不能预测
    Nikolas 发表于2020-10-16 10:55:41 2020-10-16 10:55:41 最后回复 RoyalKun 2020-10-16 17:09:23
    1254 6
    机器学习
  • [开发环境] 【NoteBook】【训练功能】选择了配置最好的环境,但是代码运行速度与我的笔记本没啥区别?
    【功能模块】Jupyter Notebook【操作步骤&问题现象】1、我自己手写了一个神经网络代码,就是简单的随机梯度下降和反向传播实现的,没有用框架,数据集是 mnist , 三层网络,784*80*10的2、本地跑代码大概10s训练一轮,电脑是i56200U,主频2.3G,内存4G3、在华为云创建了NoteBook的开发环境,配置选的CPU版本,选的最好的那一档,8核32G,3.4/h那个4、本地代码直接复制到开发环境,运行之5、云端大概8s训练一轮为什么云端这么好的资源,但是运行速度只比我的笔记本快了一点点??【截图信息】【日志信息】(可选,上传日志内容或者附件)
    afang 发表于2020-10-15 20:38:36 2020-10-15 20:38:36 最后回复 andyleung 2020-10-30 13:26:41
    1033 5
    机器学习
写博客 我要发帖

推荐直播

  • HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢

    2025/08/20 周三 16:30-18:00

    张昆鹏 HCDG北京核心组代表

    HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢

    回顾中
  • 关于RISC-V生态发展的思考

    2025/09/02 周二 17:00-18:00

    中国科学院计算技术研究所副所长包云岗教授

    中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。

    回顾中
  • 一键搞定华为云万级资源,3步轻松管理企业成本

    2025/09/09 周二 15:00-16:00

    阿言 华为云交易产品经理

    本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!

    回顾中

热门标签

Java
0关注
  • 博客(14.5k)
  • 视频(13)
  • 论坛(685)
  • 云声(606)
关注 已关注 查看详情
Python
0关注
  • 博客(13.1k)
  • 视频(18)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
数据结构
0关注
  • 博客(12.8k)
  • 视频(0)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
数据库
0关注
  • 博客(8.5k)
  • 视频(3)
  • 论坛(0)
  • 云声(465)
关注 已关注 查看详情
Linux
0关注
  • 博客(7.0k)
  • 视频(0)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
机器学习
0关注
  • 博客(7.5k)
  • 视频(11)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
网络
0关注
  • 博客(7.2k)
  • 视频(34)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
任务调度
0关注
  • 博客(5.4k)
  • 视频(0)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
MySQL
0关注
  • 博客(4.5k)
  • 视频(1)
  • 论坛(0)
  • 云声(0)
关注 已关注 查看详情
JavaScript
0关注
  • 博客(4.3k)
  • 视频(0)
  • 论坛(103)
  • 云声(0)
关注 已关注 查看详情

立即注册
  • 法律声明
  • 隐私政策
©2021 Huaweicloud.com 版权所有 苏ICP备17040376号-32 苏B2-20130048号 代理域名注册服务机构:新网
苏公网安备 32011402010636号
热门推荐
Redis导航 核间通讯 SpringCloud 安装oracle OpenCV 数字图像处理 爬虫抓取图片 开发者大会 微服务引擎 OBS资源学习 LTS基本功能 应用性能管理 ECS同步 二级域名参数 EDU域名 Leetcode 提示消息 图像过滤 处理异常 关闭SWAP Gitlab安装 编码笔记 Git基础 车载信息安全 GC算法