• [调试调优] 请各位大大分析一下如何调试调优?
    背景近期通过 MindSpore ModelZoo 的 yolov3_darknet53 案例训练模型遇到精度非常不理想的问题。首先我们 通过 ModelArts 标注的数据集,然后在 Notebook 中通过脚本转换成 coco 格式的,接着使用 ModelArts NoteBook 的 MindSpore 1.5.1 的环境进行训练。 训练日志如下:2022-08-24 02:17:42,647:INFO:epoch[0], iter[0], loss:7896.102539, 0.28 imgs/sec, lr:4.032257947983453e-06, per step time:1134.0825939178467ms 2022-08-24 02:18:16,604:INFO:epoch[1], iter[100], loss:163.221744, 94.24 imgs/sec, lr:0.00040725807775743306, per step time:339.54986572265625ms 2022-08-24 02:18:53,264:INFO:epoch[3], iter[200], loss:10.058862, 87.29 imgs/sec, lr:0.0008104838780127466, per step time:366.58549070358276ms 2022-08-24 02:19:26,663:INFO:epoch[4], iter[300], loss:8.473988, 95.81 imgs/sec, lr:0.0009996144799515605, per step time:333.9850687980652ms 2022-08-24 02:20:01,207:INFO:epoch[6], iter[400], loss:7.725496, 92.64 imgs/sec, lr:0.0009991327533498406, per step time:345.4155921936035ms 2022-08-24 02:20:39,348:INFO:epoch[8], iter[500], loss:6.846885, 83.90 imgs/sec, lr:0.0009984587086364627, per step time:381.3995862007141ms 2022-08-24 02:21:12,186:INFO:epoch[9], iter[600], loss:6.242008, 97.45 imgs/sec, lr:0.000998049508780241, per step time:328.3690071105957ms 2022-08-24 02:21:50,018:INFO:epoch[11], iter[700], loss:6.043503, 84.59 imgs/sec, lr:0.0009970872197300196, per step time:378.31180334091187ms 2022-08-24 02:22:23,509:INFO:epoch[12], iter[800], loss:5.858353, 95.55 imgs/sec, lr:0.0009965342469513416, per step time:334.9030041694641ms 2022-08-24 02:22:59,307:INFO:epoch[14], iter[900], loss:5.592995, 89.39 imgs/sec, lr:0.0009952846448868513, per step time:357.96315908432007ms 2022-08-24 02:23:37,283:INFO:epoch[16], iter[1000], loss:5.433760, 84.27 imgs/sec, lr:0.0009938441216945648, per step time:379.7421598434448ms 2022-08-24 02:24:07,903:INFO:epoch[17], iter[1100], loss:5.497750, 104.51 imgs/sec, lr:0.0009930524975061417, per step time:306.1880350112915ms 2022-08-24 02:24:45,335:INFO:epoch[19], iter[1200], loss:5.229591, 85.49 imgs/sec, lr:0.0009913266403600574, per step time:374.31445598602295ms 2022-08-24 02:25:19,672:INFO:epoch[20], iter[1300], loss:5.439500, 93.20 imgs/sec, lr:0.0009903926402330399, per step time:343.3428382873535ms 2022-08-24 02:25:53,906:INFO:epoch[22], iter[1400], loss:5.251421, 93.48 imgs/sec, lr:0.0009883829625323415, per step time:342.32158184051514ms 2022-08-24 02:26:27,451:INFO:epoch[24], iter[1500], loss:5.066656, 95.40 imgs/sec, lr:0.0009861849248409271, per step time:335.44078826904297ms 2022-08-24 02:26:57,701:INFO:epoch[25], iter[1600], loss:5.126911, 105.79 imgs/sec, lr:0.0009850156493484974, per step time:302.488431930542ms 2022-08-24 02:27:35,049:INFO:epoch[27], iter[1700], loss:5.173864, 85.68 imgs/sec, lr:0.0009825368179008365, per step time:373.4699583053589ms 2022-08-24 02:28:11,842:INFO:epoch[29], iter[1800], loss:5.094898, 86.98 imgs/sec, lr:0.000979872071184218, per step time:367.92065382003784ms 2022-08-24 02:28:43,397:INFO:epoch[30], iter[1900], loss:4.915878, 101.41 imgs/sec, lr:0.000978470197878778, per step time:315.54893493652344ms 2022-08-24 02:29:15,897:INFO:epoch[32], iter[2000], loss:4.968676, 98.46 imgs/sec, lr:0.0009755282662808895, per step time:324.9926805496216ms 2022-08-24 02:29:49,959:INFO:epoch[33], iter[2100], loss:4.911098, 93.96 imgs/sec, lr:0.0009739884990267456, per step time:340.58289527893066ms 2022-08-24 02:30:24,726:INFO:epoch[35], iter[2200], loss:4.978653, 92.04 imgs/sec, lr:0.0009707720600999892, per step time:347.6608467102051ms 2022-08-24 02:31:01,901:INFO:epoch[37], iter[2300], loss:4.865260, 86.08 imgs/sec, lr:0.0009673740714788437, per step time:371.74336671829224ms 2022-08-24 02:31:30,083:INFO:epoch[38], iter[2400], loss:4.909868, 113.55 imgs/sec, lr:0.00096560746897012, per step time:281.8074131011963ms 2022-08-24 02:32:09,922:INFO:epoch[40], iter[2500], loss:4.836433, 80.33 imgs/sec, lr:0.0009619397460483015, per step time:398.3734679222107ms 2022-08-24 02:32:45,344:INFO:epoch[41], iter[2600], loss:4.901334, 90.34 imgs/sec, lr:0.0009600390330888331, per step time:354.20750617980957ms 2022-08-24 02:33:20,557:INFO:epoch[43], iter[2700], loss:4.841683, 90.88 imgs/sec, lr:0.0009561047772876918, per step time:352.1258568763733ms 2022-08-24 02:33:57,376:INFO:epoch[45], iter[2800], loss:4.803320, 86.91 imgs/sec, lr:0.0009519946179352701, per step time:368.1812024116516ms 2022-08-24 02:34:27,590:INFO:epoch[46], iter[2900], loss:4.864341, 105.92 imgs/sec, lr:0.0009498741710558534, per step time:302.1252226829529ms 2022-08-24 02:35:06,437:INFO:epoch[48], iter[3000], loss:4.650654, 82.38 imgs/sec, lr:0.0009455032413825393, per step time:388.4425711631775ms 2022-08-24 02:35:40,882:INFO:epoch[50], iter[3100], loss:4.810557, 92.90 imgs/sec, lr:0.0009409606573171914, per step time:344.4451856613159ms 2022-08-24 02:36:10,081:INFO:epoch[51], iter[3200], loss:4.759951, 109.60 imgs/sec, lr:0.0009386254823766649, per step time:291.9792127609253ms 2022-08-24 02:36:43,708:INFO:epoch[53], iter[3300], loss:4.713065, 95.16 imgs/sec, lr:0.0009338285308331251, per step time:336.2632393836975ms 2022-08-24 02:37:17,414:INFO:epoch[54], iter[3400], loss:4.779196, 94.94 imgs/sec, lr:0.0009313672198913991, per step time:337.0497798919678ms评估结果日志输出:2022-08-24 06:52:11,789:INFO: =============coco eval result========= Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.774 Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.880 Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.869 Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000 Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.772 Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.808 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.498 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.801 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.801 Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000 Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.796 Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.831 2022-08-24 06:52:11,790:INFO:testing cost time 0.02 h数据集图片 2221 张,两个标签比例相当(2005:2055),原数据集特征如下: 转换成 coco 格式之后按 9:1 切割; 训练# 训练 !python yolov3_darknet53/train.py \ --data_dir=./dataset/coco \ --pretrained_backbone=backbone_darknet53.ckpt \ --is_distributed=0 \ --lr=0.001 \ --loss_scale=1024 \ --weight_decay=0.016 \ --T_max=320 \ --max_epoch=20 \ --warmup_epochs=4 \ --training_shape=416 \ --lr_scheduler=cosine_annealing > log-20220830-3.txt尝试使用 mindinsight问题当前训练存在哪些问题?如果调试调优应该如何发力? 恳请论坛的各位大大多多指教!
  • 【广西AI+桶中训练集无法复制到Notebook环境】
    使用 mox.file.copy('obs://xxx/inference/train.zip', './train.zip') 将桶中训练集复制到Notebook环境中,在环境中相应目录并未找到相应文件。
  • [技术干货] 使用Jupyter可视化查询语句的语法树--以图查询语言Cypher为例
    “语法解析”和“词法解析”是计算机理解查询语句的重要一环。而词法和语法的解析依赖于一定的文法规则,有诸多网站可以可视化文法规则,但是对于根据文法规则生成的语法树进行可视化的文章却比较少。对文法规则生成的语法树进行可视化,可以降低查询语言的理解成本。本文以华为图引擎使用的cypher查询语言为例,将查询语句的解析结果(语法树)在jupyterLab上可视化。案例中使用的工具不仅可以可视化cypher语言的语法树结构,对其他antlr生成的抽象语法树同样适用。详情参见:cid:link_1AI Gallery案例地址为:cid:link_0
  • [其他] 修改Notebook SSH的配置信息
    ModelArts允许用户在Notebook实例中更改SSH配置信息。在创建Notebook实例时,如果配置了SSH远程开发,当用户需要更换密钥对或白名单时,则可以在Notebook的实例详情页修改SSH的配置信息。约束限制Notebook实例状态必须在“停止”中。修改SSH远程开发操作说明:“远程SSH开发”开关可以手动打开的场景,请参考2操作“所选镜像必须配置SSH远程开发”的场景,请参考3操作。登录ModelArts管理控制台,在左侧菜单栏中选择“开发环境 > Notebook”,进入新版Notebook管理页面。在Notebook列表,进入Notebook实例详情页,打开SSH远程开发开关,更新密钥对和白名单,密钥对可单击选择已有的密钥对或“立即创建”新的密钥对,白名单IP地址的设置请参考修改Notebook远程连接IP地址。图1 更新SSH配置信息在Notebook列表,进入Notebook实例详情页,参考图2,密钥对可单击选择已有的密钥对或“立即创建”新的密钥对,白名单IP地址的设置请参考修改Notebook远程连接IP地址。图2 修改白名单和密钥对
  • [其他干货] CUDA编程(十二)CUDA学习中的TIPS
    TIPS1:解决jupyter lab中sudo时需要密码的问题 Jupyter Lab是一个很好的东西。它让编程可视化了。然而,如果你执行这样的指令:!sudo /usr/local/cuda/bin/nvprof --print-api-trace ./hello_cuda那就有点糟糕了:因为它会问你要密码,但是却不给你输入密码的地方。于是你只有等着左边的星号一时亮着。。。并不会像其他的cell那样执行后变成一个数字。然而,并不是没有解决的方法的。你可以试着这样:!echo nano|sudo -S /usr/local/cuda/bin/nvprof --print-api-trace ./hello_cuda把密码作为管道后面的输入。你会发现,居然他能运行了!TIPS2:一个错误加深了对CUDA异步执行的理解 张小白在Jupyter Lab中执行cuda的helloworld(对不起,都第三遍helloworld了)发现一个奇怪的现象,有时候,编译执行后会有输出,有时候,编译执行后并没有输出。但是执行nprof的时候一直都有输出。于是张小白请教了老师:老师指出,我的代码中少了个同步过程。即少了 cudaDeviceSynchronize();因为CUDA的代码本身是异步执行的。程序指令发出就结束了。这个时候,如果没有 执行cudaDeviceSynchronize(),做同步等待,那么有可能结果在程序执行完毕前会出来,有可能结果会在程序执行完毕后才会出来。那个时候,调用方的程序早就退出了。这也导致了张小白发现的古怪现象——有时候有结果,有时候没结果。加上同步后代码如下:#include <stdio.h> __global__ void hello_from_gpu() { printf("Hello World from the GPU!\n"); } int main(void) { hello_from_gpu<<<2,2>>>(); cudaDeviceSynchronize(); return 0; }执行后效果如下:这回,无论是nvcc编译时直接加上-run参数,还是编译后单独运行,或者是在nvprof中运行,都有打印的结果了。这样也好,加深一下印象。以后代码中也不会出现忘记加同步的错误了吧。。。(没准还会有!)
  • [技术干货] 将Graph Explorer搬上JupyterLab:使用GES4Jupyter连接GES并进行图探索
    GES4Jupyter是一款可以在JupyterLab中连接访问GES并可视化的工具。工具中封装了部分GES业务面接口,并提供对返回数据的可视化能力。基于该工具在Jupyter上进行图探索,可以大大降低编码成本,丰富JupyterLab的数据表现力。详情参考:https://bbs.huaweicloud.com/blogs/361607
  • [教程] 将Graph Explorer搬上JupyterLab:使用GES4Jupyter连接GES并进行图探索
    GES4Jupyter是一款可以在JupyterLab中连接访问GES并可视化的工具。工具中封装了部分GES业务面接口,并提供对返回数据的可视化能力。基于该工具在Jupyter上进行图探索,可以大大降低编码成本,丰富JupyterLab的数据表现力。本文截选自华为云社区《将Graph Explorer搬上JupyterLab:使用GES4Jupyter连接GES并进行图探索》 ,欲查看详情,请点击链接查看博文:https://bbs.huaweicloud.com/blogs/361607
  • [技术干货] conda环境下ubuntu 20.04 jupyter添加或删除内核的方法(转载)
    这篇文章主要介绍了conda环境下ubuntu 20.04 jupyter添加或删除内核的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下1. 创建环境12conda create -n env_name # 创建env_name环境conda create -n env_name package_name # 创建包含package_name软件包的env_name环境2. 列举环境12conda env list # 列举当前所有环境conda info --envs # 列举当前所有环境3. 添加内核1234conda install nb_conda_kernels # 安装nb_conda_kernelsconda install ipykernel # 安装ipykernel# 将环境写入jupyter notebook的kernel中python -m ipykernel install --user --name env_name --display-name "你想为kernel添加的名称"4. 删除内核1jupyter kernelspec remove env_name # 如果给env_name起了别名,将env_name替换成别名到此这篇关于conda环境下ubuntu 20.04 jupyter添加或删除内核的方法的文章就介绍到这了转载自https://www.jb51.net/os/Ubuntu/787527.html
  • [开发环境] 我在Jupyter页面新建Terminal之后找不到目录和文件,是没同步?
    【功能模块】开发环境【操作步骤&问题现象】1、创建Notebook进入Jupyter页面,2、选择进入到Terminal界面无法读取目录和文件。【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] VScode中的神仙插件(写代码必备)[转载]
    原文链接:https://blog.csdn.net/qq_53673551/article/details/122360282一、概述Visual Studio Code 是一款轻量级但功能强大的源代码编辑器,适用于 Windows、macOS 和 Linux。内置了对 JavaScript、TypeScript 和 Node.js 的支持,并为其他语言(例如 C++、C#、Java、Python、PHP、Go)并且提供了丰富的扩展生态系统,下面通过这篇文章开启VS Code插件之旅。二、使用教程1.搜索扩展您可以清除“扩展”视图顶部的“搜索”框,然后输入您要查找的扩展、工具或编程语言的名称。 2.列出已安装的扩展默认“扩展”视图显示当前的扩展、推荐的所有扩展以及已禁用的所有扩展的折叠视图。可以使用命令面板( Ctrl+Shift+P ) 命令清除搜索框中的任何文本并显示所有已安装扩展的列表。3.卸载扩展要卸载扩展,请选择扩展条目右侧的管理齿轮按钮,然后从下拉菜单中选择卸载。可以卸载扩展并提示您重新加载 VS Code。 4.禁用扩展如果不想永久删除扩展程序,可以通过单击扩展程序条目右侧的齿轮按钮暂时禁用扩展程序。在全局禁用扩展或仅针对当前工作区禁用扩展。禁用扩展后,系统将提示重新加载 VS Code。5.启用扩展如果禁用了某个扩展程序,可以使用下拉菜单中的Enable或Enable (Workspace)命令重新启用它。6.更新扩展自动更新:VS Code 检查扩展更新并自动安装。更新后,系统会提示您重新加载 VS Code。手动更新:使用Show Outdated Extensions命令快速查找扩展更新,显示当前安装的扩展程序的所有可用更新,为过时的扩展选择更新按钮,更新将被安装,系统将提示重新加载 VS Code。三、扩展介绍1.Python 对Python 语言有丰富的支持(对于所有积极支持的语言版本:>=3.6),包括 IntelliSense (Pylance)、linting、调试、代码导航、代码格式化、重构、变量浏览器等功能、测试资源管理器等。 2.Jupyter  它提供基本的笔记本支持语言内核所支持许多语言内核无需修改即可工作。默认Jupyter 扩展包括 Jupyter Keymaps 和 Jupyter Notebook Renderers 扩展。 3.C/C++ C/C++ 扩展为 Visual Studio Code 添加了对 C/C++ 的语言支持,包括 IntelliSense 和调试等功能。 4.ESLint  ESLint 是一种用于识别和报告在 ECMAScript/JavaScript 代码中发现的模式的工具,其目标是使代码更加一致并避免错误。在许多方面,它类似于 JSLint 和 JSHint。 5.PrettierPrettier支持我们大前端目前大部分语言处理,包括 JavaScript ·  Flow ·  TypeScript · CSS · SCSS · Less · JSX · Vue · GraphQL · JSON · Markdown,这代表着, 你几乎可以用一个工具都能搞定所有的代码格式化问题。 6.Live Server为静态和动态页面启动具有实时重新加载功能的开发本地服务器。 7.Visual Studio IntelliCode 提供了为Python,TypeScript/ JavaScript和Java开发AI辅助开发功能在Visual Studio代码,基于代码的上下文与机器学习相结合。8.Code Runner运行多种语言的代码片段或代码文件,省掉保存的环节,直接可以运行 9.Chinese (Simplified) (简体中文)  为VS Code 使用者提供汉字化界面,针对英文界面使用不太熟练的使用者。 10.background        平时编程总是对着一顿枯燥的代码背景,VSCode一个神仙插件Background,可以更改自己想要的背景图,下面来介绍一波。具体实现效果图:  背景图放最上面了,之前写过一篇文章,专门介绍如何配置这个插件的:VScode实现面向二次元编程11.Auto Rename Tag自动重命名配对的 HTML/XML 标签,与 Visual Studio IDE 相同。 12.Better CommentsBetter Comments 扩展将帮助您在代码中创建更人性化的注释。使用此扩展程序,您将能够将注释分类为:警报查询待办事项强调注释掉的代码也可以设置样式以明确代码不应该在那里可以在设置中指定您想要的任何其他评论样式13.Draw io Integration在VSCode中就可以创建思维导图 要创建新图表,只需创建一个空的*.drawio,*.drawio.svg或*.drawio.png文件并打开它.drawio.svg、.drawio.png嵌入到 Github,不需要导出14.Markdown emoji向 VS Code 的内置 Markdown 预览添加:emoji:语法支持 ,生成表情15.WakaTime直观的反应你一天学习打代码的时间,通过各种图表计算
  • [其他] JupyterLab必备神器-Jupyter必备插件
    1、JupyterLab-DrawIO项目地址:https://github.com/QuantStack/jupyterlab-drawioDiagram.net(原名 Draw.IO)是绘制图表的工具,它确实是 MS Visio 完美的开源替代品。借助于 jupyterlab-drawio,我们可以在 Jupyter Lab 上使用该工具。2、JupyterLab Spreadsheet项目地址:https://github.com/quigleyj97/jupyterlab-spreadsheet在 Jupyter Lab 中嵌入了 xls/xlsx 电子表格查看功能,可以在编码和excel之间进行切换,十分方便Image depicting the plugin displaying a simple XLS workbook3、JupyterLab Kite项目地址:https://github.com/kiteco/jupyterlab-kitekite是免费的AI赋能代码补全服务,可以集成在jupyterlab中使用
  • [技术干货] 简单记录一下 ModelArts CodeLab 安装 MindSpore 科学计算工具包
    ## 入口 现有的 ModelArts CodeLab 对 MindSpore 1.5 还不太友好,我们可以通过 MindSpore 官方文档中的 Run ModelArts 来运行一个 MindSpore 环境的 CodeLab。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/170539jzcswap03fjbpvgh.png) 成功打开 CodeLab 之后,我们需要留意一下当前环境是否为 GPU 环境,如果不是,我们可以一键切换, 如下图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/170842voknlc76llgvqeds.png) 当然也不一定每次都这么顺利,也许您会遇到**切换换失败**的情况,这是因为免费的资源是有限制的,所以是贫穷限制了我学习的动力~ ## 升级 执行`pip install`之后,我们发现当前默认的 MindSpore 版本是 1.2 ,并非支持科学计算工具包的 1.5 ,如下图: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/171141imqcmpsasqp7zd15.png) 接着,我们要升级到新版本的 MindSpore。 MindSpore 官方文档已经给了我们详细升级的指南,此处我是进行重新安装的,如下图: ``` pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.5.0/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.5.0-cp37-cp37m-linux_x86_64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/171659pw1ka8khdnptvg0b.png) 执行 ``` python -c "import mindspore;mindspore.run_check()" ``` 成功输出了 1.5.0 的版本号,先不管能不能用,至少是有这个版本了。 ## 安装 MindSPONGE MindSPONGE 是由高毅勤课题组(北京大学、深圳湾实验室)和华为 MindSpore 团队联合开发的分子模拟库,具有高性能、模块化等特性。按照官方文档的指引,我选择从 Gitee clone 源码进行安装: ``` git clone https://gitee.com/mindspore/mindscience.git cd mindScience/MindSPONGE python setup.py install --user ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/1725447ppccgpc3uvjqsq7.png) 如上图中,首先我执行 `python -c 'import mindsponge'` 会报错`No module named 'mindsponge'`,这是因为安装的 MindSpore 并没有内置科学计算工具包,需要我们手动安装,安装完毕之后再次校验就不再报错没有模块了。 当然也可以使用 pip 安装,这里就不表了。 ## 安装 MindElec 目前 MindElec 还没有明确说支持 GPU 环境 ,不过从社区的反馈来看,现在应该是可以再 GPU 环境中使用的。安装 MindELec 有两种方式: 一是通过 pip 安装,一是通过编译源码安装;经过我的踩坑,强烈推荐使用 pip 安装。 ## pip install 我们可以去到 MindSpore 版本网页--[https://mindspore.cn/versions/](https://mindspore.cn/versions/) 获取对应版本的 MindElec, 如[mindscience_mindelec_ascend-0.1.0-cp37-cp37m-linux_x86_64.whl](https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.5.0/MindScience/x86_64/mindscience_mindelec_ascend-0.1.0-cp37-cp37m-linux_x86_64.whl) ``` pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.5.0/MindScience/x86_64/mindscience_mindelec_ascend-0.1.0-cp37-cp37m-linux_x86_64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 简单验证一下: ``` # test mindspore import mindspore; mindspore.run_check(); # test mindsponge import mindsponge; # test mindelec import mindelec; ``` ![day01-1.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/09/132521kefcguraa62sdvpe.png) over,后面的就是踩坑经历了,不过目前在 ModelArts CodeLab 中不建议使用源码安装 MindElec,主要是还没有安装成功。虽然源码编译打包没问题,能够正常出包,但安装时就提示无法支持当前平台,而且一看 python 版本名称都变成 c39 了,而我当前的环境是 3.7。具体原因后续再探索。 ### 源码安装 ``` cd MindElec bash build.sh ``` 不过并不太顺利,提示当前环境的 CMake 版本太低,于是我尝试重新安装 CMake。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/173203y2nvjluz8srclf8h.png) 先去 [CMake 官网](https://cmake.org/download/) 找到 Linux 版本的 cmake-3.22.0-rc2.tar.gz 下载到本地,然后上传到 Notebook,执行解压、make 等操作,不过值得注意的是 ModelArts Notebook 中没法使用 root 权限,因此无法直接安装 CMake,我们尝试先使用非 root 用户权限进行安装: ``` tar -zxvf cmake-3.22.0-rc2.tar.gz cd cmake-3.22.0-rc2 ./bootstrap # cmake -DCMAKE_INSTALL_PREFIX=/home/ma-user/work ./configure --prefix=/home/ma-user/work make && make install ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/173526ujlwqknpufnku71i.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/08/175006kfhnhmpopzc7uz6n.png) 感觉编译配置和编译的过程十分漫长,在等待过程中我也再去翻了翻文档,不知道还会不会出啥幺蛾子,不过感觉大方向是对的。 ``` # 环境变量配置 export PATH=/home/ma-user/work/bin:$PATH cmake -version ``` 接着执行`build.sh`脚本,一切正常的话,我们会看到`output`目录下会生成相应版本的包,如`mindscience_mindelec_gpu-0.1.0rc1-cp39-cp39-linux_x86_64.whl`: ``` bash build.sh -e gpu ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/09/133618blvprrfltaejhwjq.png) ## 简单体验 MindScience MindElec 套件提供了物理驱动和数据驱动的 AI 方法,我们分别尝试运行其中的 `physics_driven/time_domain_maxwell` 和`data_driven/parameterization` 这两个案例的训练脚本, 记得修改 `device_target`为 GPU。 ``` python mindscience/MindElec/examples/physics_driven/time_domain_maxwell/train.py ``` ![day01-2-time_domain_maxwell-2.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/09/131735bqqvxlmipzhpqxdn.png) ``` python mindscience/MindElec/examples/data_driven/parameterization/train.py --device_target=GPU --device_num=0 ``` ![day01-2-parameterization-2.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/09/131649okm5dlddddlnq8a4.png) 体验暂时告一段落,总的来说 ModelArts 对 MindSpore 新版本的支持越来越好了,想体验最新的 MindSpore,原来有 ModelArts 就行。
  • [开发环境] jupyter notebook路径问题
    【功能模块】jupyter notebook加载数据的路径是正确的,但却报找不到文件的错误【操作步骤&问题现象】1、上传数据2、代码中加载数据报错【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [安装] 使用anaconda3配置mindspore环境,进入jupyter notebook后代码不能运行
    原本环境还是可以运行的,但一换到mindspore环境下就运行不了,import没变绿,那个黑点一直显示内核正忙
  • [其他] Jupyter使用ModelArts示例
    ModelArts提供了Notebook示例,方便初学者通过示例,快速了解如何使用ModelArts Notebook。 说明: Jupyter Notebook示例使用nbexamples扩展,有关nbexamples扩展的更多信息,请参阅[nbexamples](https://github.com/danielballan/nbexamples)。 #### 预览ModelArts Examples 1. 在Notebook列表中,创建并打开一个Notebook,或者直接打开已有的Notebook。 2. 在Jupyter页面中,单击“ModelArts Examples”页签,此页面罗列了“Basic ModelArts Python Sdk”、“Machine Learning Introduction”等示例。每个示例提供了详细的说明,您可以单击右侧的“Preview”预览示例。 **图1** 进入ModelArts Examples ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202109/27/235018kgtq0gxc4q4vk4qc.png) #### 使用ModelArts Examples 1. 在Notebook列表中,创建并打开一个Notebook,或者直接打开已有的Notebook。 2. 在Jupyter页面中,单击“ModelArts Examples”页签,选择需要使用的示例,单击示例右侧的“Use”。 3. 在弹出的“Create a copy in your home directory”对话框中,设置新的“ipynb”文件名称,也可以直接使用默认文件,然后单击“Create copy”保存并打开新的“ipynb”文件。打开的示例文件如[图3]所示。 使用示例是指将示例文件创建一个副本,其代码内容与示例一致。 **图2** 创建示例副本 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202109/27/235036zrsjo6bxo0bcorwx.png) **图3** 打开示例文件 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202109/27/235132tshpk2ihzdsxkhu8.png)
总条数:92 到第
上滑加载中