• [开发环境] 报错内存已满或者“CUDA error: out of memory”怎么办?
    报错内存已满或者“CUDA error: out of memory”怎么办? 有没有什么办法?
  • [开发环境] kernel Restarting怎么回事
    kernel Restarting怎么回事?有什么方法?
  • [问题求助] notebook中的checkpoints文件夹打不开
    创建的checkpoints文件夹打不开
  • 扩散模型原理和pytorch代码实现初学资料汇总-转载
     1.扩散模型和分数匹配模型的资源和论文的汇总 https://github.com/heejkoo/Awesome-Diffusion-Models 是一个github网站  2. 三篇经典论文 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》 2015年 扩散模型起源  《Denoising Diffusion Probabilistic Models》 2020年 扩散模型兴起 https://github.com/lucidrains/denoising-diffusion-pytorch 对应pytorch实现  《Improved Denoising Diffusion Probabilistic Models》 2021年 第二篇论文的改进 https://github.com/openai/improved-diffusion 对应pytorch实现  3.看过的扩散模型博客 The recent rise of diffusion-based models 可以了解到扩散模型近年比较经典的应用 Introduction to Diffusion Models for Machine Learning 从中可以了解到一个实现扩散模型的库denoising_diffusion_pytorch,博客中有使用案例 What are Diffusion Models? 也是扩散模型的一个理论介绍博客,推导挺详细的 Diffusion Models as a kind of VAE 探究了VAE和扩散模型的联系 The Annotated Diffusion Model 扩散模型理论和代码实现,代码我进行理解加了注释与理论对应,方便大家理解 An introduction to Diffusion Probabilistic Models 也是一个介绍性博客,公式也很工整 4. 看过的一个B站视频 54、Diffusion Model扩散模型理论与完整PyTorch代码详细解读 我是看过其他资料后才看的这个视频,所以一遍都能全看懂,不知道初看怎么样  代码我也进行理解加了注释与理论对应,方便大家理解  5.未看过的扩散模型博客 https://jmtomczak.github.io/blog/10/10_ddgms_lvm_p2.html 扩散模型理论和代码实现 Generative Modeling by Estimating Gradients of the Data Distribution 其他相关资料 机器学习-白板推导系列(十二)-变分推断(Variational Inference) 知道Lvlb等概念是什么(B站视频) 【学习笔记】生成模型——变分自编码器 理解VAE(博客) 【机器学习】白板推导系列(三十二) ~ 变分自编码器(VAE) 理解VAE(B站视频) https://github.com/labmlai/annotated_deep_learning_paper_implementations 有很多深度学习算法的实现 The Annotated Transformer transformer的pytorch实现的一个解释博客 positional_encoding的一个实现案例 github代码 强烈推荐!台大李宏毅自注意力机制和Transformer详解! B站视频 《Attention Is All You Need》 transformer和注意力机制原论文 Transformer论文逐段精读【论文精读】 64 注意力机制【动手学深度学习v2】 我根据官方资料整理了jupyter代码实现文件,可从头到尾直接运行 Reparameterization Trick 白板推导变分推断后两节也有提到 isotropic Gaussian distribution A Recipe for Training Neural Networks 加注释后的jupyter,关注微信公众号“一蓑烟雨晴”即可获取。 ———————————————— 版权声明:本文为CSDN博主「一蓑烟雨晴」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/qq_44941689/article/details/126513283 
  • [技术干货] Jupyter Notebook的一些使用心得
    一、快捷键ESC:退出单元选中 Shift+Enter:运行本单元,选中下个单元 Ctrl+Enter:运行本单元 Alt+Enter:运行本单元,在其下插入新单元 Y:单元转到代码状态 M:单元转到Markdown状态 A:在上方插入新单元 B:在下方插入新单元 X:剪切选中的单元 Shift+V:在上方粘贴单元 按两次D:删除单元二、对象类型信息查看1、在对象的前面加上?,查看对象的信息。obj = 'codexa' ?obj -----------------------***打印结果如下***--------------------- Type: str String form: codexa Length: 6 Docstring: str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str2、在函数前面加上?查询函数参数说明import pandas as pd ?pd.read_excel -----------------------***打印结果如下***--------------------- Output exceeds the size limit. Open the full output data in a text editor Signature: pd.read_excel( io, sheet_name: 'str | int | list[IntStrT] | None' = 0, header: 'int | Sequence[int] | None' = 0, names=None, index_col: 'int | Sequence[int] | None' = None, usecols=None, squeeze: 'bool | None' = None, dtype: 'DtypeArg | None' = None, engine: "Literal['xlrd', 'openpyxl', 'odf', 'pyxlsb'] | None" = None, converters=None, true_values: 'Iterable[Hashable] | None' = None, false_values: 'Iterable[Hashable] | None' = None, skiprows: 'Sequence[int] | int | Callable[[int], object] | None' = None, nrows: 'int | None' = None, na_values=None, keep_default_na: 'bool' = True, na_filter: 'bool' = True, verbose: 'bool' = False, parse_dates=False, date_parser=None, thousands: 'str | None' = None, decimal: 'str' = '.', comment: 'str | None' = None, ... 1 string2 2.0 2 None NaN File: c:\users\administrator\appdata\local\programs\python\python310\lib\site-packages\pandas\io\excel\_base.py Type: function三、魔法命令1、使用“ %time ”命令确认代码的执行速度n = 1000000 %time sum(range(n)) -----------------------***打印结果如下***--------------------- CPU times: total: 46.9 ms Wall time: 36.9 ms2、使用“ %%time ”命令测量整个单元的处理时间,注意要放在单元最上方。%%time n = 2000000 print(sum(range(n))) -----------------------***打印结果如下***--------------------- 1999999000000 CPU times: total: 46.9 ms Wall time: 105 ms3、 使用“ %timeit ”命令测量行潜入的处理%timeit 100*100 -----------------------***打印结果如下***--------------------- 10.6 ns ± 0.192 ns per loop (mean ± std. dev. of 7 runs, 100,000,000 loops each)4、使用“ %whos ”命令对所有变量一览表进行显示%whos -----------------------***打印结果如下***--------------------- Variable Type Data/Info --------------------------------- df DataFrame Empty DataFrame\nColumns:<...>, 2, 3, 4, 10]\nIndex: [] n int 1000000 obj str codexa pd module <module 'pandas' from 'c:<...>es\\pandas\\__init__.py'> str1 str test5、此外将str类型的参数传递给“ %whos ”命令还可以只获取字符串的变量%whos str -----------------------***打印结果如下***--------------------- Variable Type Data/Info ---------------------------- obj str codexa str1 str test
  • [问题求助] notebook切换自定义镜像环境出错
    notebook切换自定义镜像环境出错
  • notebook训练时scikit_image库报错
    notebook配置如下图训练参数如下,设置好训练参数后开始训练python train.py --data_dir ../train/ --pretrained_backbone ./ckpt_files/backbone_darknet53.ckpt --lr=0.1 --T_max=320 --max_epoch=320 --warmup_epochs=4 --training_shape=416 --lr_scheduler=cosine_annealing等待一小会然后就报错,一开始百度认为是与python版本不匹配,就把scikit_image的版本降为0.18.3,重新安装好这个库后,再开始训练,还是报错请问怎么解决捏,孩子快急死了QAQ
  • [其他] 浅谈Jupyter Notebook——cell操作
    Juqyter启动# 进入虚拟环境workon ai# 输入命令jupyter notebook本地notebook的默认URL为:http://localhost:8888Jupyter的三种cell类型:Code(编辑代码,运行后显示代码运行结果)Markdown(编写Markdown文档,运行后输出Markdown格式的文档)Raw NBConvert(普通文本,运行不会输出结果)Jupyter两种模式:编辑模式、命令模式编辑模式(Enter)命令模式下回车Enter或鼠标代码块进入编辑模式可以操作代码或文本,进行剪切 / 复制 / 粘贴等操作命令模式(Esc)按Esc退出编辑,进入命令模式或单击代码块外部可以操作cell单元本身,进行剪切 / 复制 / 粘贴/移动等操作工具栏操作cell快捷键操作cell两种模式都可使用的快捷键Shift+Enter,执行本单元代码,并跳转到下一单元Ctrl+Enter,执行本单元代码,留在本单元命令模式:按Esc或鼠标单击代码块外部进入Y:cell切换到Code模式M:cell切换到Markdown模式A:在当前cell的上面添加cellB:在当前cell的下面添加cell双击D:删除当前cellZ:回退Ctrl+Shift+减号:分隔cell,在光标处L:为当前cell加上行号编辑模式:按Enter或鼠标单击代码块内部进入Ctrl+鼠标单击(Mac:CMD+鼠标单击):多光标操作Ctrl+Z(Mac:CMD+Z):回退Ctrl+Y:重做Tab键:代码补全Ctrl(Mac:CMD+/):注释多行代码
  • [其他] 浅谈jupyter notebook 基本操作
    从浏览其打开jupyter notebook后,主界面的Files标签里是一个文件浏览器。可以本机工作目录里的文件,如果是jupyter notebook文档可以直接打开;当然也可以在这里新建或者上传一个文档,选择新建一个python 3文档,则进入notebook文档界面,可以敲入python代码,并修改文档名称。修改并保存文档后,再回到主界面,可以看到在Files标签里面多了一个hello_world.ipynb文件;而在Running标签则多了一个运行中的文档。当新建或者打开一个notebook文档,在主界面Running里面都会有一项对应的记录。在文档界面里面,这后台对应的运行引擎称为kernel。文档操作文档界面又一个菜单栏和工具栏,同时还支持快捷键。实际应用中,推荐使用快捷键。文档界面的菜单里有两个新术语cell(单元)和kernel(内核)。cell的编辑模式与命令模式cell是一个jupyter notebook文档的基本组成单位,一个文档可以有一个或者多个cell。前面的截图中输入的hello world代码地方就是一个cell。cell有两种模式,编辑模式和命令模式。处于编辑模式时,cell中有光标闪烁,并且菜单栏右侧有编辑图标。快捷键esc可从编辑模式变为命令模式;在命令模式下按下enter则切回编辑模式。cell类型cell的类型有代码、Markdown和原始文档几种。混合使用代码cell和Markdown,可以形成一个很好的笔记文档。比如用Markdown来描述设计、算法和代码,其表达能力比Python自带的注释更丰富。在命令模式下,可以用快捷键改变一个cell的类型:快捷键y将一个cell类型变为代码cell快捷键m将一个cell类型变为Markdown混合的notebook示例,前面两个都是Markdown类型的cell,而后面的则是Python代码cell可以通过help()来启动交互式帮助控制台shell命令在代码单元中,可以执行shell命令,shell命令以!开头。magic命令jupyter notebook的代码单元还支持一种以%开头的称为magic的命令。这些命令包括一些内嵌的工具,如测量时间的%timeit,还有一些shell的功能,如Êt等。内核操作可从文档界面的kernel菜单进入。每个jupyter notebook文档在后台都有对应的运行环境,即一个内核。内核主要操作包括重启和关闭。每运行一个cell,内核里都有记录,会保存其状态。
  • [其他] 浅谈jupyter notebook
    jupyter notebook是一个基于网页的交互式计算环境,它本身支持多种语言的开发,但常用于Python的开发。其优点是交互式强,易于可视化,尤其适用于需要频繁修改、实验的场景,比如数据分析、测试机器学习模型等。另一个优点是它是基于Web的,客户端运行于浏览器,而真正的Python环境(kernel)则运行于服务器。因此可以把计算引擎部署在计算力强大的后台服务器甚至是GPU服务器上,这对于很多深度学习的计算环境是很方便的。jupyter notebook产品的官方主页为https://jupyter.org/。安装与启动anaconda如果安装了anaconda的python发行版,那么jupyter notebook就已经自带了。只需要从anaconda navigator中启动即可。官方python如果安装的是Python官方发行版,则需要自行安装jupyter notebook。安装过程可能会有点慢,因此它需要安装比较多的相关软件包。pip install notebook安装完成后,只需要敲入jupyter-notebook命令即可启动。jupyter-notebook[I 15:16:27.520 NotebookApp] Serving notebooks from local directory: /Users/gran/work_macpro/study/python/jupyter_notebook[I 15:16:27.520 NotebookApp] Jupyter Notebook 6.1.6 is running at:[I 15:16:27.520 NotebookApp] http://localhost:8888/?token=4f1c60188b984ab261fa033d936007d2e49b36b6b3c01261[I 15:16:27.520 NotebookApp]  or http://127.0.0.1:8888/?token=4f1c60188b984ab261fa033d936007d2e49b36b6b3c01261[I 15:16:27.520 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).[C 15:16:27.528 NotebookApp]不论是从anaconda启动,还是手动安装后通过命令行启动,jupyter notebook都会在后台启动一个web服务器,默认端口为8888。在浏览器中访问http://localhost:8888即可使用jupyter notebook。
  • [其他] 尝试VS Code一键连接Notebook初体验
    Jupyter notebook(http://jupyter.org/) 是一种 Web 应用,能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。名字源自Julia、Python 和 R(数据科学的三种开源语言),是一款程序员和科学工作者的编程/文档/笔记/展示软件  .ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范ModelArts 是面向开发者的一站式 AI 平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。体验活动:在开发环境Console控制台上提供VS Code按钮,通过该入口自动打开VS Code并连接实例。视频指导:cid:link_0活动时间:9月21日-10月31日参与方式:点击报名:cid:link_1根据【体验指导】,学习并完成案例;cid:link_2运行完所有命令后,截图发布到本贴评论区,活动结束后随机抽奖。VS Code一键连接Notebook初体验华为云提供了一键安装方式,非常方便,体验非常棒!
  • [问题求助] 如何用VSCode连接JupyterLab里的免费运行环境?
    1. 个人用户,打开Gallery的项目,例如:https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=07c2ad16-ad45-449e-98f8-26dedff8f67d2. 点击右上角的“run in ModelArts”,打开JupyterLab,连接到免费运行环境,这个时候已经可以在JupyterLab里运行代码了。3. 打开ModelArts控制台,点击“开发环境”-》NoteBook,期望在这个页面里面看到Jupyterlab所使用的免费运行环境,但是我的账户里面看不见上述的notebook实例,因此不能用VSCode打开,问题:这种免费实例是不能用VSCode打开吗?
  • [执行问题] 使用SentimentNet实现情感分类在ModelArts Notebook环境中可以执行,买同样的代码的本地执行可以会报错
    Notebook镜像选择的mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04,资源类型选择GPU,本地是mindspore1.8.1 CPU。本地执行的代码是将mindspore_nlp_application.ipynb中的代码Cell组合在一起的,线上执行的也是mindspore_nlp_application.ipynb。本地执行报错:[mindspore/nn/layer/rnn_cells.py:69] LSTMCell has been changed from 'single LSTM layer' to 'single LSTM cell', if you still need use single LSTM layer, please use `nn.LSTM` instead. Traceback (most recent call last):   File "rnn_sample.py", line 461, in      batch_size=cfg.batch_size)   File "rnn_sample.py", line 425, in __init__     dropout=0.0)   File "rnn_sample.py", line 361, in __init__     dropout=dropout))   File "/usr/local/lib/python3.7/dist-packages/mindspore/nn/layer/rnn_cells.py", line 73, in wrapper     raise ValueError(f"The arguments of `nn.LSTMCell` from old MindSpore version(<1.6) are detected, " ValueError: The arguments of `nn.LSTMCell` from old MindSpore version(<1.6) are detected, if you still need use single LSTM layer, please use `nn.LSTM` instead. Exception ignored in:  Traceback (most recent call last):   File "/usr/local/lib/python3.7/dist-packages/mindspore/nn/cell.py", line 338, in __del__     if self.compile_cache:   File "/usr/local/lib/python3.7/dist-packages/mindspore/nn/cell.py", line 329, in __getattr__     raise AttributeError("The '{}' object has no attribute '{}'.".format(type(self).__name__, name)) AttributeError: The 'LSTMCell' object has no attribute 'compile_cache'.  貌似代码的版本太低造成的。可是Notebook的镜像是mindspore1.7.0,为什么可以执行呢?
  • [其他活动] 【有奖体验】ModelArts Ascend与PyCharm联合开发
    PyCharm在python项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎,而Ascend的计算设备并不容易获取用来做交互式代码调测。直播视频回顾:cid:link_0活动时间:10月1日-11月30日参与方式:点击报名:cid:link_1根据【案例指导】,学习并完成案例;cid:link_3运行完所有命令后,截图发布到本贴评论区,活动结束后随机抽奖。活动抽奖:1、超过88人体验,随机抽20个幸运观众,送移动电源2、超过288人体验,随机抽60个幸运观众,送移动电源 / 体脂秤。(总共40本移动电源、20个体脂秤)活动已结束,参与人数未达到活动抽奖要求,不给予抽奖 活动规则  1)请务必使用个人账号参与活动(IAM、企业账号等账号参与无效); 2)所有获得华为奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励; 3)本次活动如一个实名认证对应多个账号,只有一个账号可领取奖励;一个实名认证账号只能对应一个收件人,如同一账号填写多个不同收件人或不同账号填写同一收件人,均不予发放奖励; 4)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励【点击此处填写信息】。活动获奖信息填写时间截止2022年12月15日,如未填写视为弃奖,请知; 5)本次活动,实物奖品预计于2022年12月30日前完成发放,发放时间根据实际情况动态调整,如有延期敬请见谅; 6)本次活动幸运奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)进行抽取,如您对评奖方式有异议,请勿参加本次活动; 7)其他事宜请参考【华为云社区常规活动规则】,本活动最终解释权归华为云所有。https://bbs.huaweicloud.com/forum/thread-5766-1-1.html 
  • [问题求助] 为什么模型训练提交后分数为0!?哪位大神帮帮我。
           我参加的是第二届长三角青少年人工智能奥林匹克挑战赛主赛道—AI算法擂台。比赛要求是要分类遥感土地图像,然后我后面用了模块训练成功之后,按照比赛要求进行了提交,结果分数竟然是0!?我是用tensorflow的AI引擎和inception-v2和RESNET结合进行的训练,训练一切正常,可是最后评分是0.0分。哪位大神帮帮我!
总条数:92 到第
上滑加载中