• [安装] mindspore编译出现问题
    问题:mindspore在win10中编译过程中出现问题,卡了好几次,前几次重新编译可以推进一些进度,但是现在卡在48%,怎么也编译不了了,求帮助!电脑信息如下:编译报错的截图信息:按照网上所给提示寻找在Makefile中找到 -Werror项,没有找到,请问应该怎么解决?
  • [热门活动] 你想成为开源社区达人吗?MindSpore开源成长活动重磅来袭~
    作为一枚勤勤恳恳的键盘侠,参与“开源”到底有啥好处呢?开源可以迅速扩展和锻炼你的技术图谱,可以收获一批志同道合的小伙伴,可以给你的履历增光添彩,更可以最大化地将个人智慧产生社会影响力,一齐将中国自主创新的产品以众人拾柴火焰高之力推到世界的前列,真正实现我们发展技术的自由不受禁锢。如此慷慨激昂的事业,你还不加入?想加入,不知去哪里?想加入,不知道如何做?为了推动更多的开发者轻松加入开源事业中,MindSpore即将推出开源成长活动!手把手教你如何参与开源,更有超多奖品和证书等你来取!点击进行观看本次活动面向所有开发者,无论你是高校学生,还是有工作经验的大神都可参加哦~AI音箱、华为手环、荣耀50手机、华为matebook…完成几个任务就可以把它们带回家!领取礼品率高达90%,先到先得哦~本次活动既适合没有经验想要参与开源的新手,也适合有一定经验的开源老将。直接查看、领取任务就可开始,无需报名!任务发布地址:MindSpore官方Gitee开源社区(重要地址发三遍~)https://gitee.com/mindspore/community/issues/I4BD5Fhttps://gitee.com/mindspore/community/issues/I4BD5Fhttps://gitee.com/mindspore/community/issues/I4BD5F通过我们的活动,熟悉了参与开源的流程并累积了部分经验,可挑战解决社区内其他待解决问题~甚至作为外部开发者与内部成员一起共建和优化MindSpore!一起干一票大的吧~
  • [调试调优] 【mindspore】模型计算梯度出现nan值
    【功能模块】MindSpore版本号:mindspore0.6 gpu、硬件平台信息:python:3.7.5、操作系统版本号:ubuntu反向传播计算梯度出现nan值【操作步骤&问题现象】1、debug train.py2、latent_gradients 为nan【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [应用实践] 【教程】MindSpore开源社区提交PR
    1.        成为 contributor 贡献者 1.1.      git clone 开发仓到本地 (例如mindvision仓) 注意这里是 clone 自己的工作仓,输入以下命令:>>> git clone https://gitee.com/xxxxx/mindvision.git1.2.      rebase 更新本地仓刚才的操作已经把 gitee 上个人仓的代码拉取到本地,为了保证代码是最新的,我们先来添加主仓,方便同步更新代码:>>> git remote add upstream https://gitee.com/mindspore/mindvision.git 这就把远端主仓添加到 upstream 里面了。然后使用命令 git rebase:>>> git rebase upstream/master 详情参考https://www.cnblogs.com/chercher/p/5587979.html 1.3.      修改本地文件1.3.1.            添加自己邮箱(举例) 打开 mindvision/mindvision/poseestimation 文件夹里面的 README.en.md,在本地对 Readme.en.md 把自己的邮箱和名字添加到 Contributors 里面, 如在ZOMI(chenzomi12@gmail.com)  下面新增一行,直接添加”邮箱”。修改后保存: 冲突是因为修改同一行或者附近代码所导致的,所以同学们可以在 ## Contributors下面 gitee 账号信息处上面或者下面添加都行。如何解决冲突见文末2.        提交代码到开源项目 2.1.      将修改上传到然后合并到自己的仓 用 git status 查看修改的内容, 可以看到我们修改了 README.en.md:>>> git status接下来要把我们自己的修改上传到自己的仓使用以下三步就可以,其中-m 后面的是你对前提交的 PR 一个注释,同学们需要注意不能乱写,因为这是开源项目中给其他人看>>> git add>>> git commit -m “add contributor XXX">>> git  push: 2.2.      查看修改内容 这时候去看 gitee 上自己的仓库,可以发现内容已经改了。 2.3.      提交 Pull Request Pull Request 可以把我们的修改合并到主仓:在自己的仓库里面找到 Pull Request,点击,就会到达下一个页面。创建 Pull Request 在标题和内容里面写上我们提的这个 Pull Request 目的是什么。可以方便我们之后很快的溯源。写完以后点下面的 create 就可以啦,之后就到了这个页面。会有华为的工程师帮我们审核通过,那我们就可以加入主仓的 contributor 了。  同学们注意左上角显示合入才算真正合入,到目前为止只是提交成功。以下红色框内 merged 是已经合入的标志。 3.        签署 CLA 第一次提交完代码后,会在 pulls 页面显示标签 mindspore-cla/no,表示我们还没有签署 CLA,CLA 是参加开源项目的电子证明。为了让参加开源项目的每一个同学都有一个记录,方便后续简历写上参加 XXX 开源项目,我们要求每个同学都点击进去链接里 https://www.mindspore.cn/icla。同时,PR 下面的评论 I-robot 会提醒点击签署 CLA 协议:  接着看到这个页面,按照步骤执行就可以啦:    值得注意的是,同学们需要注意你们 git config 查看你们 git 操作绑定的邮箱,是不是 CLA签署的邮箱,如果不是那么会显示签署不成功。评论/check-cla 就可以看看自己是否签署成功。其他:解决冲突如果遇到冲突,可能是已经有同学先合入代码了,这个时候你就需要先把你个人仓先更新一   下。更新方法是:>>> git remote add upstream https://gitee.com/mindspore/mindvision.git 这就把远端主仓添加到 upstream 里面了,然后使用命令 git merge:>>> git rebase upstream/master 解决完冲突就可以重复 2.2 和 2.3 步上传了, 详情参考 https://www.cnblogs.com/chercher/p/5587979.html  其他:提交只有一个commit  为了开源规范和方便审核,注意提交的时候只能有一个 commit如果提交的多次的话,可以使用 rebase 去合并 commit,详情参考下面链接: https://jingyan.baidu.com/article/27fa73268a6cec46f8271fab.html
  • [API使用] 【MindSpore产品】在modelart中使用Ascend训练基于mindspore的网络时报错,说找不到合适的算子
    【功能模块】感觉像是在卷积的时候,找不到可使用的算子,【操作步骤&问题现象】1、在modelart中使用Ascend训练基于mindspore的网络时报错【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] 【mindspore】数据规模有点大,系统报错
    上面代码前半部分和后半部分结构一模一样,除了数据的大小。上面qf数据shape[3368,2049]可以运行通过,下面gf数据shape运行成功的话理应是[15913, 2048],但是此处运行不过去。想知道原因是什么?怎么解决?谢谢大家报错:【日志信息】(可选,上传日志内容或者附件)
  • [分布式] 【mindspore】报错Call rt api rtStreamSynchronize failed
    我的环境:mindspore1.3.0操作系统:Linux version 4.18.0-193.el8.aarch64 (mockbuild@aarch64-01.mbox.centos.org) (gcc version 8.3.1 20191121 (Red Hat 8.3.1-5) (GCC)) #1 SMP Fri May 8 11:05:12 UTC 2020python 3.7.5想问一下报这个错误一般是怎么回事?有可能是哪方面出现了问题代码情况:数据自定义,网络自定义, 损失函数自定义, withlosscell自定义, trainonestepcell自定义,优化器Adam,多卡训练报错日志:[ERROR] GE(168820,fffe5b7ef1e0,python):2021-09-23-23:18:51.574.701 [mindspore/ccsrc/runtime/device/ascend/ge_runtime/runtime_model.cc:232] Run] Call rt api rtStreamSynchronize failed, ret: 507011[ERROR] DEVICE(168820,fffe5b7ef1e0,python):2021-09-23-23:18:51.575.063 [mindspore/ccsrc/runtime/device/ascend/ascend_kernel_runtime.cc:570] DumpTaskExceptionInfo] Task fail infos task_id: 23, stream_id: 10, tid: 170123, device_id: 4, retcode: 507011[ERROR] DEVICE(168820,fffe5b7ef1e0,python):2021-09-23-23:18:51.578.885 [mindspore/ccsrc/runtime/device/ascend/ascend_kernel_runtime.cc:579] DumpTaskExceptionInfo] Dump node (Default/network-CustomTrainOneStepCell/optimizer-Adam/FusedMulAddN-op4519) task error input/output data to: ./task_error_dump/4 trace: In file /root/archiconda3/envs/zjc/lib/python3.7/site-packages/mindspore/nn/optim/optimizer.py(669)/        return op_add((op_mul(weight, F.cast(weight_decay, F.dtype(weight))), gradient))/[ERROR] DEVICE(168820,fffe5b7ef1e0,python):2021-09-23-23:18:51.580.685 [mindspore/ccsrc/runtime/device/ascend/ascend_device_address.cc:687] DumpMemToFile] SyncDeviceToHost: rtMemcpy mem size[3004] fail, ret[507899][ERROR] DEVICE(168820,fffe5b7ef1e0,python):2021-09-23-23:18:54.934.479 [mindspore/ccsrc/runtime/device/ascend/ascend_kernel_runtime.cc:693] RunTask] RunModel error msg: mindspore/ccsrc/runtime/device/ascend/ge_runtime/runtime_model.cc:232 Run] Call rt api rtStreamSynchronize failed, ret: 507011# [ERROR] SESSION(168820,fffe5b7ef1e0,python):2021-09-23-23:18:54.951.056 [mindspore/ccsrc/backend/session/ascend_session.cc:1136] Execute] run task error![ERROR] MD(168820,fffe7d7af1e0,python):2021-09-23-23:19:01.615.613 [mindspore/ccsrc/minddata/dataset/util/task_manager.cc:217] InterruptMaster] Task is terminated with err msg(more detail in info level log):TDT Push data into device Failed, check the first error or TraceBack first, following are several possible checking way: 1) if training is not ready, still in network graph compiling stage, check error raised by Network used operator or environment configuration. 2) if interrupt in middle process of training, may check whether dataset sending num and network training num mismatch. 3) if this error raised in end of training, ignore this. 4) other cases, try find ascend host log or checking info log ects or search this in mindspore's FAQ.[WARNING] MD(168820,ffffb2b74710,python):2021-09-23-23:19:11.529.246 [mindspore/ccsrc/minddata/dataset/engine/datasetops/device_queue_op.cc:73] ~DeviceQueueOp] preprocess_batch: 13298; batch_queue: 0, 0, 0, 0, 0, 0, 0, 0, 0, 1; push_start_time: 2021-09-23-23:18:49.910.349, 2021-09-23-23:18:49.940.781, 2021-09-23-23:18:49.970.696, 2021-09-23-23:18:50.001.881, 2021-09-23-23:18:50.032.770, 2021-09-23-23:18:50.062.068, 2021-09-23-23:18:50.087.184, 2021-09-23-23:18:50.114.358, 2021-09-23-23:18:50.139.500, 2021-09-23-23:19:01.615.324; push_end_time: 2021-09-23-23:18:49.881.805, 2021-09-23-23:18:49.911.967, 2021-09-23-23:18:49.942.095, 2021-09-23-23:18:49.972.236, 2021-09-23-23:18:50.003.477, 2021-09-23-23:18:50.034.087, 2021-09-23-23:18:50.063.510, 2021-09-23-23:18:50.088.564, 2021-09-23-23:18:50.115.999, 2021-09-23-23:18:50.140.999.
  • [论文解析] 【转载】MindSpore论文解读6:[ACM MM]PACMOO:基于帕累托最优的公平性约束协同过滤算法
    MindSpore作为一个开源的AI框架,为开发者带来端边云全场景协同、极致性能,极简开发、安全可信的体验,2020.3.28开源来得到数六十万以上的下载量,走入100+Top高校教学,已通过HMS在4000+App上商用,拥有数量众多的开发者,在AI计算中心,智能制造、云、无线、数通、能源、消费者1+8+N等端边云全场景逐步广泛应用,是Gitee指数最高的开源软件。欢迎大家参与开源贡献、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等,贡献您在云侧、端侧、边侧以及安全领域的应用案例。基于MindSpore的AI顶会论文越来越多,我会不定期挑选一些优秀的论文来推送和解读,希望更多的产学研专家跟MindSpore合作,一起推动原创AI研究,MindSpore社区会持续支撑好AI创新和AI应用,本文是MindSpore AI顶会论文第六篇,我们选择了来自中国科学院大学计算技术研究所智能信息处理重点实验室许教授在ACM MM2021的一篇论文进行解读,感谢中科院计算所许教授团队投稿。论文整体目录:1.MindSpore优秀论文解读:自此告别互信息:用于跨模态行人重识别的变分蒸馏技术2.MindSpore AI顶会论文系列2:EPRNet 应用于实时街景分割的高效金字塔表征网络3.MindSpore AI顶会论文3:[ACL2021]文本语义哈希在大规模信息检索系统的应用4.MindSpore AI顶会论文4:[CVPR2021]AECRNet:基于对比学习的紧凑图像去雾方法5.MindSpore优秀论文5:[AAAI] CycleCol:基于循环卷积神经网络对真实单色-彩色摄像系统着色6.MindSpore论文解读6:[ACM MM]PACMOO:基于帕累托最优的公平性约束协同过滤算法-本文1.研究背景协同过滤推荐算法基于历史数据学习用户对物品的偏好。由于收集到的历史数据集不可避免地存在不均衡现象,传统优化方法对每个用户-物品交互的损失进行单独求和,从而导致交互数量少的用户训练不充分,模型倾向于对处于劣势的用户群体产生不公平的推荐效果。本论文从损失函数的重形式化入手,借鉴多目标优化思想,旨在从优化角度缓解推荐算法中的样本不平衡问题。团队背景:研究者来自中国科学院大学计算技术研究所智能信息处理重点实验室-VIPL媒体学习与知识推理组。该团队的研究领域为数据挖掘和机器学习,主要关注众包计算、机器学习理论、推荐算法、知识图谱等,相关成果已发表在TPAMI、IJCV、TIP、TKDE、TMM、ICML、NIPS、CVPR、ECCV、AAAI、ACM Multimedia等相关领域主流国际期刊与会议上。2.论文主要内容简介为缓解推荐算法中的样本不平衡问题,我们提出将不同组用户的训练损失单独作为一个优化目标。由于不同组用户的推荐性能被同等对待视作一个优化目标,从而可减小不均衡的亚组样本频率对梯度的影响。借鉴多目标领域的有关概念,模型旨在求解多个目标的帕累托最优解。帕累托最优解的定义为:如果不存在这样的解,在所有目标上均比当前解要好,则当前的解被称为一个帕累托最优解。从定义可以看出,可能存在多个解均满足帕累托最优性。更进一步,为了使得模型取得一个更加均衡的帕累托最优解,我们提出了一个公平性约束,以限制多目标优化的搜索空间。从而将问题形式化为一个受限制的多目标优化问题。其中分别为个组的损失函数,是所加的第 个公平性限制约束。为了求解该受限制多目标优化框架,我们提出了一个高效的受限制多目标优化算法。算法在第 步更新之前,首先求解一个子问题a),动态地为每个目标计算出相应的权重。子问题a)其次,考虑所加公平性约束,通过拉格朗日乘子法,求解如下min-max子问题b)。子问题b)其中的min问题根据所提出的公平性约束限制搜索空间,使得模型倾向于取得均衡的帕累托稳定点。对于第 步,经过公平性限制对梯度方向的调整,模型的更新方向为:其中,对于max问题,我们采用投影梯度上升法更新拉格朗日乘子。由于公平性不是本文的主要关注点,文中仅设计了一个公平性约束:约束不同组的损失差异不要太大,即且其中, 为超参数,限制不同组损失的差异阈值。3.代码链接论文链接:https://github.com/qianxiuhao1017/Pareto_constrained_MOO/blob/main/Pareto_cpnstrained_MOO.pdfMindSpore代码链接:https://gitee.com/mindspore/contrib/pulls/115会议名称:ACM MM 20214.算法框架技术要点记多个目标共享的模型参数为,第个目标特异的模型参数为,算法主要分为以下几步:对于 ,分别利用梯度下降法更新模型特有参数。分别计算个目标对于共享模型参数的梯度,记作;基于个梯度方向求解子问题a),得到个目标对应的参数。根据以及当前拉格朗日乘子,计算总的梯度更新方向并更新模型共享参数。根据投影梯度上升法更新拉格朗日乘子。重复上述1~4步。5.实验结果表1:仿真数据集上的总体性能比较图1: 仿真数据集上不同目标的性能图表 2: Netflix数据集上的总体性能比较图2: Netflix数据集上不同目标的性能图所提出的方法在仿真数据集和真实数据集Netflix上均进行了实验。如表1、表2所示,所提方法与对比方法在总体性能上相当。更进一步,由图1、图2所示,所提方法在弱势组(图1的group 1 和图2的group 4)上可以得到了明显的提升。从而证明所提出的方法能够在不损害总体性能的基础上,提升劣势用户群体的推荐性能,实现了总体性能与公平性之间的良好权衡。6.MindSpore代码实现如算法框架技术要点所述。MindSpore实现链接:https://gitee.com/mindspore/contrib/pulls/1157.总结与展望本文从损失函数的重形式化以及优化角度考虑样本不平衡问题。传统的总体目标损失由所有用户-物品对的损失等权相加组成,易受样本频率影响。本文将不同用户的损失进行分组,并同等地视为一个优化目标。借鉴多目标优化的思想,转而同时优化多个目标以期取得良好的帕累托最优解。为了进一步限制模型的搜索空间,我们加入了公平性约束以限制多组损失之间的差异。为了对这一受限多目标优化问题进行求解,我们提出了一个基于梯度的高效求解算法。当前多目标优化算法的不足之处在于仅能取得一个帕累托稳定点。未来将进一步探索多目标优化算法,从而能够高效获得多个帕累托最优解,且各个解具有可解释的性质,以期指导用户个性化地选择符合某个条件的帕累托解。本文作者在MindSpore社区从事相关AI工作,欢迎您扫码加入QQ群,与数千MindSpore开发者一起交流,用MindSpore赋能千行百业,点亮您的智慧生活。官方QQ群: 871543426MindSpore官网:https://www.mindspore.cn/MindSpore论坛:https://bbs.huaweicloud.com/forum/forum-1076-1.html代码仓地址:Gitee-https://gitee.com/mindspore/mindspore.gitGitHub-https://github.com/mindspore-ai转自文章链接:https://zhuanlan.zhihu.com/p/413260203感谢作者的努力与分享,侵权立删!
  • [训练管理] 在modelart中使用Ascend训练基于mindspore的网络时报错
    【功能模块】【操作步骤&问题现象】1、在modelart中使用Ascend训练基于mindspore的网络时报错【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] ModuleNotFoundError: No module named 'mindspore'
    【功能模块】今天在ubuntu中安装了MindSpore  CPU版本,安装官方教程也测试的安装好了mindspore,但是当我在jupyter中导入mindspore这个包时却显示没有这个模块【操作步骤&问题现象】1、在ubuntu中安装MindSpore  CPU版本,通过pip3 install下载了jupyter。2、进入了jupyter导入mindspore包的时候提示没有这个模块【截图信息】显示Mindspore已经安装好了安装jupyter,并进入导入mindspore出现错误【日志信息】(可选,上传日志内容或者附件)
  • [其他问题] MindSpore官网教程 - 动态图与静态图 - 注释有误
    官网链接:https://www.mindspore.cn/tutorials/zh-CN/master/intermediate/pynative_mode_and_graph_mode.html?highlight=%E8%AE%A1%E7%AE%97%E5%9B%BE在“执行单算子”相关内容的示例代码中,注释部分写的是“打印Cond2d算子的输出”,正确的应该是打印“打印Conv2d算子的输出”吧?
  • [API使用] 【众智】【MindSpore】TypePtr之间能不能比较
    【功能模块】SparseTensorDenseMatMul算子C++原语定义【操作步骤&问题现象】在推测输出的类型的时候,可能会出现输入1是complex64,输入2是float的情况,这个时候输出是complex64,我想先获得输入1和2的数据类型再 判断是否合法 和 推测结果的类型就是可以做下面这样的操作吗?TypePtr x1 = ..., x2 = ...;TypePtr y;if(x1 == kComplex64 && x2 == kFloat64)    y = kComplex64; 【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [调试调优] 【MindSpore】【混合精度】开启混合精度后模型结果异常
    【功能模块】MindSpore中基于amp接口开启“O3”等级的自动混合精度与使用net.to_float(mstype.float16)方法手动设置混合精度后都使得模型训练结果异常。【操作步骤&问题现象】1、由于模型在Ascend910平台上基于全精度训练速度极慢(全精度下模型结果正常,但速度较mindspore-GPU平台运行慢了几个数量级,经过查看Profile发现有99.66%的时间用于mindspore.ops.MatMul算子),故分别尝试开启自动混合精度与手动混合精度模式。2、在自动混合精度与手动混合精度两类模式下,模型训练速度都恢复正常,但两类模式下的模型训练结果出现同样的异常(请参看上传的两份日志文件,其中可见Accuracy和Var都始终处于1.0,且其他指标在完成训练后也低于正常水平)请问如何解决此类异常?若混合精度下此类异常不可避免,是否还有其他提高模型训练效率的方案?【截图信息】下图为Profile文件中模型各算子运行时间占比分析:【日志信息】已上传log1与log2两份结果异常的模型运行日志文件。
  • [执行问题] 【MindSpore1.3】【Ascend910】执行报错
    【问题描述】附件正则化实验,在华为云ModelArts平台的Notebook中,使用环境MindSpore1.3版本+Ascend910 Arm环境,执行报错如下图,云端环境无法定位问题,请帮忙调试,感谢!本实验在MindSpore1.2版本+Ascend910 可以正常运行,实验代码在附件。
  • [问题求助] mindspore 该问题如何解决 (耕地分割赛道)
总条数:1153 到第
上滑加载中