• [其他] 华为海雀AI摄像头的人体移动检测,是端侧还是云端做的?
    在学习AI全栈的Hilens端侧AI部分,想到家里有一个华为智选的海雀AI摄像头,100多块钱买的没有开通云服务然后在手机负一屏“智慧生活”里,可能看到准实时的吧,人体移动告警点进去可以看到免费15秒的视频我想知道,这个人体移动的AI检测,是在摄像头端侧做的?还是到云端做的?如果是在云端做的,好像也没有哪里做设置啊?而且未经用户设置,将监控视频发到云端做检测,也涉嫌侵犯用户的隐私吧?所以我觉得可能是端侧做的吧?但是也不太确定,这个摄像头100多块也不贵,自己有这个AI能力还是很厉害的哦?
  • [其他] 学习AI是否能有效提升自己的竞争力
    如果未来继续从事技术开发,优化自己的技术栈估计是多数人的选择之一,如何增加个人的竞争力,已经成为大多数软件开发打工人职业生涯必须面对的重要问题。那么学习AI作为技能之一,是否能有效帮助提升自己的竞争力?
  • [教程] ModelArts AI市场算法conv-ensemble-str使用指导
    本文档是ModelArts AI市场算法conv-ensemble-str(以下简称为本算法)的详细使用方法。本算法使用MJSynth数据集中的train集训练,在SVT集上测试达到了word accuracy = 84.2的准确率。代码结构如下:src ├── LICENSE  # 开源协议 ├── README.md  # 开源代码的原版介绍 ├── pylintrc  ├── config.py  # 配置文件 ├── convert.py  # 用于将ckpt模型转换成pb模型 ├── datasets.py  # 数据集定义文件 ├── demo.py  # 从ckpt中读取模型,直接从图片读入,输出识别结果的demo ├── demo_pb.py  # 从pb中读取模型,直接从图片读入,输出识别结果的demo ├── eval_one_pass.sh  # 推理阶段直接在整个数据集上测试精度的脚本 ├── train.py  # 模型训练代码 ├── evluation.py  # 模型评估代码 ├── model  # 以下目录分编码器,解码器实现网络结构 │   ├── __init__.py │   ├── decoder_conv.py │   ├── encoder_resnet.py │   ├── model.py │   └── resnet_v2.py ├── tools   │   └── make_tfrecord_datasets.py  # 生成tfrecord格式数据集的工具。 ├── utils  # 模型实现中用的工具代码 │   ├── __init__.py │   ├── beam_search.py │   ├── hooks.py │   ├── inception_preprocessing.py │   ├── metrics.py │   └── utils.py ├── trained_model │   ├── model  # 用于存放复现的模型,可以用于进一步预训练 │   │   ├── config.json │   │   ├── customize_service.py │   │   ├── variables │   │   │   ├── checkpoint │   │   │   ├── variables.ckpt.index │   │   │   ├── variables.ckpt.meta │   │   │   └── variables.ckpt.data-00000-of-00001 ├── pre-trained_weights  # 用于复现阶段的初始化模型,未使用因而未空 ├── tf-SVT  # 用于评估的数据集 │   ├── charset_size=63.txt # 用于字母与id索引的文件 │   ├── test  # 存放tfrecord格式测试图像1. 准备数据集本算法支持的数据集格式为tfrecord格式的MJSynth数据集。MJSynth数据集为人工合成的数据集,目前广泛应用于场景文本识别模型的训练当中。MJSynth数据集包含900万张英文单词图像。该数据集划分为train,val,test三个部分。其中train部分包含720万余张图像。本算法仅使用其中的720万余张图像做模型预训练。MJSynth的训练集标注在annotation_train.txt文件中,其中每一行对应一张图像,每一行的第一列为图像路径,其中图像标注在路径文件名中(第二列中的数字可以忽略,与本算法无关)。样例如下:./2425/1/115_Lube_45484.jpg 45484 ./2425/1/114_Spencerian_73323.jpg 73323 ./2425/1/113_accommodatingly_613.jpg 613 ./2425/1/112_CARPENTER_11682.jpg 116821.1 下载数据集并转换数据集下载原始训练数据集可点此链接下载mjsynth.tar.gz文件,如下图所示:mjsynth.tar.gz解压后的目录结构如下:mjsynth ├── 1 │   ├── 1 │   ├── ... │   └── 7 ├── 2 ├── ... ├── 3999 ├── lexicon.txt ├── imlist.txt ├── annotation.txt ├── annotation_train.txt ├── annotation_val.txt ├── annotation_test.txt转换训练数据集使用make_tfrecord_datasets.py转换数据集。需在该工具中配置ORIGINAL_DIR及OUTPUT_DIR路径。转换后的目录结构如下:tf-mjsynth ├── charset_size=63.txt ├── train │   ├── train-0000 │   ├── ... │   └── train-2408 ├── val │   └── ... ├── test │   └── ...如果您需要使用自己的数据集进行训练,则需要将数据目录整理成和上面一样的形式。并使用(或修改)make_tfrecord_datasets.py工具转换成tfrecord格式。下载并转换测试数据集测试数据集为Street View Text (SVT),其包含647张街景图像。SVT的准备流程参照训练数据集。1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到conv-ensemble-str,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业(需根据具体算法修改)点击上图中的“创建训练作业”,按照下表填写训练作业参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://conv-ensemble-str/modelarts/datasets/模型输出选择obs://conv-ensemble-str/output/output_dir./train_outputdataset_dir./train_input/datasets/tf-mjsynth/train_steps300000checkpoint./checkpointlearning_rate0.01scheduletrain作业日志路径选择obs://conv-ensemble-str/logs/资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。4. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示:注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。5. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择CPU即可;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。6. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU 2核 8GB”,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://conv-ensemble-str/modelarts/datasets/模型输出选择obs://conv-ensemble-str/output/output_dir./trained_model/model/variablesscheduleevaluatedataset_nameMJSynthbeam_width5dataset_dir./tf-SVT作业日志路径选择obs://conv-ensemble-str/logs/资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成模型评估结果。
  • [AI大赛] ModelArts AI市场算法DenseNet使用指导
    本文档是ModelArts AI市场算法DenseNet(以下简称为本算法)的详细使用方法。本算法使用ILSVRC 2012  ImageNet图片分类数据集中的train集和val集,使用train集训练,在val上single-crop测试达到的准确率为:DenseNet-121     top1:74.29%   top5:92.00%DenseNet-169     top1:75.48%   top5:92.64%DenseNet-201     top1:76.37%   top5:93.07%DenseNet-264     top1:76.68%   top5:93.17%1. 准备数据集本算法支持的数据集格式为ILSVRC 2012  ImageNet图片分类数据集。ILSVRC 2012  ImageNet中总共有1000个类别,其中train训练集有为1281167张图片,val验证集有50000张图片。该数据集通常作为业界衡量人图片分类准曲率的可靠指标。数据集的具体信息,包括评估脚本、标注文件、提交测试demo等可查看数据集官网。ILSVRC 2012  ImageNet数据集旨在用于:(1) 评估图片分类模型的准确率检测;(2) 基于此数据集训练出通用的图片分类模型预训练参数。1.1 下载数据集首先需要在数据集官网下载ILSVRC 2012  ImageNet数据集,下载前需要先登录账号,如下图所示:注:如果还没账号需要先注册,注册时建议使用edu邮箱注册,其它邮箱注册后有可能没法下载完整的数据集,且下载的过程中不建议使用多线程下载,否则可能出现禁止下载的情况;数据集总共将近有150G的容量,若觉得官网下载太慢,也可使用其它下载途径,只要在百度上搜索ImageNet相关信息,就能找到很多其它下载途径下载好ImageNet数据集解压完后会得到一个imagenet_original目录,ImageNet所有的数据信息都在该目录中,目录结构如下:└─imagenet_original    ├─train        ├─n01440764        ├─n01443537        ├─n01484850        ......     ├─val        ├─n01440764        ├─n01443537        ├─n01484850        ......     ├─subset     ├─caffe_ilsvrc12然后将caffe_ilsvrc12目录中的synset_words.txt文件复制到val文件夹中,并重命名为label.txt,该文件为标签信息文件,训练过程中(即参数eval=False)不需要使用这个文件,但预测评估过程(即eval=True)需要使用这个文件,否则无法输出预测标签,预测评估过程会出错;subset和caffe_ilsvrc12目录本算法中不需要使用,可以直接删掉;操作完后,最终目录格式如下:└─imagenet_original    ├─train        ├─n01440764        ├─n01443537        ├─n01484850        ......     ├─val        ├─n01440764        ├─n01443537        ├─n01484850        ......        ├─label.txt到此,该数据集目录可以直接上传至OBS,用于训练和评估;如果是训练,则需要将data_url参数设置为imagenet_original目录在OBS上的访问路径,如果是预测评估,则需要将data_url参数设置为val目录所在OBS上的访问路径;但由于该数据集文件数量很多,为了方便数据传输和节约数据传输的时间,可以将数据集进行打包压缩;要注意的是,进行打包时,被打包的文件夹名称以及打包后的压缩包名称固定不能修改,如下所述:训练时可以将整个imagenet_original进行tar.gz分包压缩,每个分包10GB,总共有15个压缩包(最后一个压缩包2GB),每个分包的名称为imagenet.tar.gza*,如下图所示:然后可以将此15个分包上传至OBS的同一个目录下面,将data_url参数设置为该15个分包的父目录所在的OBS访问路径;在训练过程中,使用tar.gz的方式与直接使用目录的方式相比,数据copy时间会减少20多分钟(训练ImageNet数据集时,直接使用目录copy时间约50分钟,而复制tar.gz压缩分包的方式大约30分钟以内)预测评估时也可以将val目录打包压缩成val.zip,然后上传至OBS中,data_url设置成val.zip文件所在的父目录的OBS访问路径;注:1.上传压缩包时,压缩包所在的OBS目录不要存放其它无关文件,避免上传多余的文件       2.上传不同格式的数据集data_forma参数也要设置对应的值,直接上传目录设置为dir,如果为tar.gz压缩包,则设置为tar.gz,如果为zip压缩包,则设置为zip       3.打包时的命名要求必须严格遵守,不然训练和预测评估将会出错1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”(具体文件夹名称、以及文件夹层数可自由设置),点击“上传”->“添加文件”(或者文件夹)-> 选择本地准备好的数据集目录或者压缩包(如imagenet.tar.gza*或者val.zip)进行上传(本算法中用到的ImageNet文件数量很多,所以上传解压后的文件夹,速度会较慢,建议使用imagenet.tar.gza*或val.zip压缩包的形式上传) –> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:名称默认值类型是否必填是否可修改描述device_targetAscendstring否是训练用的硬件平台,有CPU、GPU和Ascend,本算法支持Ascend训练data_urldata/imagenet_original/string是是训练或者评估输入的数据集 (支持上传压缩包和文件目录;如果使用文件夹形式的数据,则填写该文件夹在OBS上的访问路径;如果使用zip或者tar.gz压缩包形式的数据,则填写该压缩包的父目录在OBS上的访问路径)train_urloutput/string是是训练或者评估结果输出路径data_formattar.gzstring否是可选值zip(上传数据为zip压缩包)、tar.gz(训练数据集的分包压缩形式)或者dir(上传数据为目录形式),压缩包和目录的具体格式要求请参考上面第一节《数据集准备》epoch_size120int否是模型训练的epoch数量batch_size256int否是训练或者评估时每个batch的大小init_lr0.1string否是训练的初始学习率momentum0.9string否是优化器的动量系数load_weightweight/best_model.ckptstring否是可加载的预训练模型,当eval=True时,该参数为必填项 ;默认值是在ImageNet数据集上的预训练模型,该预训练模型已包含在本算法中weight_decay0.0001string否是优化器中的正则化权重衰减量img_size224int否是训练图片的尺寸,默认值与论文中保持一致num_classes1000int否是类别数量,默认值为ImageNet类别数量conv2d_keep_prob1.0string否是dropout的设置值,默认与论文中训练ImageNet保持一致architectureDenseNet-121string否是可选值为DenseNet-121、DenseNet-169、DenseNet-201和DenseNet-264amp_levelO3string否是混合精度训练的设置值,根据mindspore官方文档,Ascend硬件下训练建议使用O3,如效果不佳,可根据实际模型训练情况更改optimizerSGDstring否是优化器,默认与论文保持一致no_topFalsestring否是加载预训练模型时,是否包含顶部的分类器,若加载的预训练模型中的类别数与训练模型设置的num_classes不同,则必须设置为True,否则会报错,无法加载预训练模型evalFalsestring否是eval=True,则进行预测评估;eval=False进行训练点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。在训练过程中,每一个epoch之后都会检测是否为当前最优模型,如果最优,则会保存到OBS中,即在上表中指定的“train_url”路径下会自动生成一个文件夹,文件夹的命名包含了本输出的模型准确率,如‘’DenseNet-121_valacc0.7520161290322580645_epoch99‘’,文件夹下面又有4个目录,分别为checkpoint、air、onnx、mindir,里面存放输出的对应格式的模型文件,具体不同的格式如何使用,请参考mindspore官方部署推理文档。4. 模型评估参考本文第3节中的步骤,创建“训练作业”,按照下表设置训练参数:参数名参数值data_url数据存储位置,选择测试集所在路径,如obs://paper-reproduction-01/algorithms/train_input/datasets/(这里如果使用的是验证集的zip压缩包,则需要选择zip压缩包父目录的OBS路径,如上述连接,实际copy的是obs://paper-reproduction-01/algorithms/train_input/datasets/val.zip)train_url模型的输出,选择obs://paper-reproduction-01/algorithms/eval_outputload_weight加载要评估的模型,如obs://paper-reproduction-01/algorithms/weight/best_model.ckptevalTruedata_formatzipbatch_size1architectureDenseNet-121点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“train_url”路径下会自动生成infer_results.txt目录和eval_result.txt文件,其中infer_results.txt目录中是所有图片的分类结果    。
  • [AI大赛] AI市场CrowdDet算法使用介绍
    1. 概述本文档是ModelArts AI市场算法CrowdDet(以下简称为本算法)的详细使用方法。本算法使用CrowdHuman高质量标注数据集中的train集和val集,使用train集训练,在val集上测试达到了AP=0.9056的准确率。代码结构如下src |-- download/ # 算法运行时将OBS中储存的数据将加载到此目录 |     |-- annotation_train.odgt |     |-- annotation_val.odgt |     |-- images/ |     |     |-- 1066405,100a000985ef070.jpg |-- pre-trained_weights/ |     |-- resnet50_fbaug.pth # 训练模型所需要的backbone起点 |-- trained_model/ |     |-- model/ |     |     |-- model_config.py # 模型和训练默认参数配置 |     |     |-- network.py # 模型结构 |     |     |-- config.json # 模型部署文件 |     |     |-- customize_service.py # 模型部署文件 |     |     |-- model_final.pth # 训练得到的模型,用于模型部署 |     |     |-- model_lib/ # 开源包、模型构建、数据集加载等文件 |     |     |     |--... |-- tools/ |     |-- run_infer.py # 推理 |     |-- run_train.py # 训练模型 |     |-- run_test.py # 在验证集上推理并输出评价指标 |-- config_env.sh # 运行前环境配置(升级Pytorch-1.5.0) |-- train.py # 算法执行文件 |-- evaluation.py # 输出业界评价标准2. 准备数据集本算法支持的数据集格式为CrowdHuman数据集。CrowdHuman是一个基准大数据集,可以更好地评估人群场景中的探测器,带有注释,并且具有很高的多样性。 CrowdHuman包含分别用于训练、验证和测试的15000、4370和5000张图像。来自训练和验证子集的总共47万个人类实例,每个图像有23个人,数据集中有各种遮挡。每个人类实例都带有头部边界框,人类可见区域边界框和人类全身边界框。有关带注释的类的详细信息和注释示例可在数据集的官网上找到。 CrowdHuman 数据集旨在用于促进人类检测任务的未来研究。2.1. 下载数据集可点此链接下载CrowdHuman_train01.zip, CrowdHuman_train02.zip CrowdHuman_train03.zip, CrowdHuman_val.zip, annotation_train.odgt, annotation_val.odgt文件,将所有图片解压到同一个文件夹,最终保证数据目录如下所示|-- data_url/ |     |-- images/ # 所有解压得到的图片 |     |     |-- 1066405,100a000985ef070.jpg |     |     |-- ... |     |-- annotation_train.odgt # 训练集标注文件 |     |-- annotation_val.odgt # 验证集标注文件2.2. 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度。3. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。4. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“obs_output_url”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。(本算法提供在CrowdHuman上预训练得到的模型,因此finetune默认轮数为1轮。)5. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示:注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。6. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择GPU;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。7. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU:2 核 8 GiB GPU:1*P4”,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。8. 模型评估参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成eval_results.json和metrics_result.json文件,其中eval_results.json是所有图片的预测结果,eval_metrics.json是评价结果,如图所示。eval_results.jsoneval_metrics.json
  • [其他] “AI+教育”时代是否已来临了呢?大家怎么看
         “AI+教育”主要是要改变传统的教学方式,要从教师的教转变到学生的学。教师要充分发挥学生的主体性,改变单向传授知识的方式。学生通过自我学习发现问题、提出问题,自己去探索,或者与同伴合作,互相探讨。教师可以利用人工智能、大数据、互联网等技术优势,帮助学生的个性化学习设计科学的、合适的学习方案。人工智能、大数据、互联网等,还可以作为教师的有力助手。       个人认为人工智能还是能给教育带来诸多机遇,能够提供个性化的学习,促进学习者各方面素养和能力的提升,并减少教师的重复性工作等。人工智能可以帮助老师随时了解学生的学习情况,帮助他们解决困难,帮助教师批改作业,替代教师一些机械式的劳动,减轻教师的负担,使教师有更多的时间和学生接触沟通。不知道大家怎么看,有没有其他思路呢
  • [其他] 在AI时代人类是否将无用武之地?
            如果在这个世界上只有机器人去工作,我们人类没有工作,机器人进行生产但没有人有钱去买,这个世界就无法运转了,那就要去创造一些新的社会制度来适应机器取代人的时代。机器取代了一些人的工作,但这些人不会永远处于失业状态,他们总会找到新的工作。        时代在进步,科技在发展,我们还是还是要提升自身的能力才不会被社会淘汰。
  • [AI大赛] ModelArts AI市场算法Aster使用指南
    本文档是ModelArts AI市场算法Aster(以下简称为本算法)的详细使用方法。本算法使用SynthText和MJSynth两个数据集进行训练,在IIIT5k测试集上达到Accuracy:93.7%(without Lexicon),98.4%(1k Lexicion),99.3%(50 Lexicon)。1. 准备数据集1.1 预处理数据集训练数据集:SynthText和MJSynth验证数据集:IIIT5k由于本算法的训练数据量较大,为了加快训练中Dataloader的读取速度,需要将数据集转化为lmdb格式。我们提供了已经转换好的训练数据和验证数据 (password: c8xr)。如果需要根据自己的训练数据制作,请参考我们提供的脚本。测试数据集:IIIT5k一般的文字识别算法,都不使用真实数据集的训练集进行训练,仅使用其中的测试集进行测试。测试数据不需要转换成lmdb格式。下载IIIT5k数据集中的test数据以及testdata.mat,用于测试。下载后请保证目录结构为:|-- Synth `-- |-- CVPR2016     |   |-- data.mdb     |   |-- lock.mdb     |-- NIPS2014     |   |-- data.mdb     |   |-- lock.mdb     |-- benchmark_lmdbs_new     |   |-- IIIT5K_3000     |   |   |-- data.mdb     |   |   |-- lock.mdb     `-- IIIK5K         |-- test         |   |-- *.png         `-- testdata.mat1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为aster-reproduction。您设置的桶名必须与此不同,如在下文的操作指导中看到aster-reproduction,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地已经按照1.1中处理好的数据–> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度。2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://aster-reproduction/train_input/datasets/Synth/模型输出选择obs://aster-reproduction/train_output/batch_size1024workers8height64width256voc_typeALLCASES_SYMBOLSarchResNet_ASTERcudaTrueevalFalseepoch7 (需要根据数据集大小进行调整)load_weight./trained_model/model/best_model.pth(如果输入为空,则随机初始化参数)training_dataset/home/work/modelarts/inputs/Synth/training_dataset_subfoldCVPR2016:NIPS2014 (使用的训练数据集文件夹名。支持多个数据集同时训练,用英文冒号:分隔多个数据集。)testing_dataset/home/work/modelarts/inputs/Synth/benchmark_lmdbs_new/IIIT5K_3000/test_freq1000 (单位:iteration)print_freq100(单位:iteration)作业日志路径选择obs://aster-reproduction/logs资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。4. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://aster-reproduction/train_output/注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。5. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型”列表选择要导入的模型及版本,计算节点规格选择CPU/GPU均可;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。6. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,选择对应的的模型及版本,填写输入数据目录(例如:/aster-reproduction/IIIT5K/test/)和输出目录(可在OBS上新建一个文件夹),计算节点规格选择CPU/GPU均可,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://aster-reproduction/train_input/datasets/Synth/模型输出选择obs://aster-reproduction/train_output/batch_size1024workers8height64width256voc_typeALLCASES_SYMBOLSarchResNet_ASTERcudaTrueevalTrueepochload_weight设置obs上保存的模型路径obs://aster-reproduction/train_output/model/aster_Final.pthtraining_datasettesting_dataset/home/work/modelarts/inputs/Synth/IIIT5K/test/gt_path设置/home/work/modelarts/inputs/Synth/IIIT5K/testdata.mat,如果未设置gt_path参数,则不会输出评估结果,只保存推理结果。作业日志路径选择obs://aster-reproduction/logs资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成results目录和eval_result.txt文件,其中results目录中是所有图片的预测结果,eval_result.txt中是业界标准评估指标的结果。【华中科技大学  VLR实验室  张文庆、陈习武】
  • [AI大赛] ModelArts AI市场算法依存句法分析使用指导
    本文档是ModelArts AI市场算法Biaffine Parser(以下简称为本算法)的详细使用方法。本算法使用CTB 5.1标注数据集,使用train集训练,在val集上选择最优模型, 最终在test集上测试达到了UAS=90.37, LAS=88.47的准确率。1. 准备数据集本算法支持的数据集格式为Conll数据集。1.1 下载数据集可点此链接查看CTB 5.1数据集以及处理脚本,或者使用其他数据集进行训练,如UD数据集等等。通常我们会使用一些预训练词向量来改善性能,预训练词向量可以从这里得到,解压我们可以得到词向量,更名为pretrained.txt最终我们可以得到如下4个文件|- train.txt |- dev.txt |- test.txt |- pretrained.txt通常1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://paper-reproduction-01/algorithms/train_input/datasets/模型输出选择obs://paper-reproduction-01/algorithms/train_outputload_weightNonenum_epochs200作业日志路径选择obs://paper-reproduction-01/algorithms/logs资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。4. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示:注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。5. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择CPU即可;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。6. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU 2核 8GB”,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择测试集所在路径,如obs://paper-reproduction-01/algorithms/train_input/datasets/val模型输出选择obs://paper-reproduction-01/algorithms/train_outputload_weightobs://paper-reproduction-01/algorithms/train_output/model/best_model.pthevalTrue / False作业日志路径选择obs://paper-reproduction-01/algorithms/logs资源池公共资源池规格modelarts.p3.large.ex,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成infer_results.txt和eval_result.txt文件,其中infer_results.txt为对test.txt的预测结果。
  • [其他] AI应该怎样助力教育的发展?
    企业招人有校招,校招有校招的好处,因为毕业生是一张白纸好作画。学业有成的毕业生都可以比作是一张白纸,那么对于还在学习的学生来说,从这个意义上来讲,他们是非常脆弱的。低年级的学生就更是如此。好的老师,可以影响学生一辈子。这句话从反面来看,有多少的学生被老师不好的教育方式影响了一辈子?如果AI能够助力老师的因材施教,那是不是天大的好事?现在AI在教育领域有哪些应用呢?我个人非常非常的反感,将AI用于监控学生的学习状态,比如多长时间是认真的学习,多长时间再走神。这样把人当机器一样监控是非常反人性的。
  • [教程] ModelArts AI市场算法Entity-Relation Extraction使用指南
    本文档是ModelArts AI市场算法Entity-Relation Extraction(以下简称为本算法)的详细使用方法。本算法使用ace2004和ace2005两个数据集进行训练,分别在测试集上达到ACE语料库包含完整的英语、阿拉伯语和汉语训练数据,用于2005年自动内容提取(ACE)技术评估。语料库由多种类型的数据组成包括实体、关系和事件,这些数据由语言数据联盟(LDC)标注,并得到ACE计划的支持和LDC的额外援助。本算法使用英文预料库进行实体和关系的联合抽取工作准备数据集    1.1 数据介绍      由于ace数据集本身为非免费数据集,本算法使用由论文原作者香侬科技团队提供的数据集进行验证    解压之后数据集中的train、dev、test由两种类型的文件构成:    .ann:句子之间的实体以及实体之间的关系        .txt:原始的句子和标题    1.2 安装OBS Browser+并上传数据集ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。具体操作步骤如下:(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示;(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示;(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度2. 订阅本算法点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。3. 创建训练作业点击上图中的“创建训练作业”,按照下表填写训练作业参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择obs://paper-reproduction-01/algorithms/train_input/datasets/模型输出选择obs://paper-reproduction-01/algorithms/train_outputnum_nodes6cuda_visiable0,1,2,3,4,5config_fileconfigs/cityscapes_fast_scnn.yamltrain_epochs1200train_batch_size12solver_lr0.045solver_auxTruesolver_aux_weight0.4load_weightdeploy_model/model/best_model.pthFalse作业日志路径选择obs://paper-reproduction-01/algorithms/logs资源池公共资源池规格modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。4. 模型导入准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示:注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。5. 创建在线服务在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。部署为在线服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择CPU即可;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。6. 创建批量服务在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。部署为批量服务具体步骤如下:(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU 2核 8GB”,计算节点个数设为1;(3)点击“下一步”,参数确认无误后,点击“提交”。提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。7. 模型评估参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:参数名参数值算法名称默认值即可,无需修改数据来源数据存储位置,选择测试集所在路径,如obs://paper-reproduction-01/algorithms/train_input/datasets/val模型输出选择obs://paper-reproduction-01/algorithms/train_outputnum_nodes1cuda_visiable0config_fileconfigs/cityscapes_fast_scnn.yamltrain_epochs0train_batch_size12solver_lr0.045solver_auxTruesolver_aux_weight0.4load_weightobs://paper-reproduction-01/algorithms/train_output/model/best_model.pthTrue作业日志路径选择obs://paper-reproduction-01/algorithms/logs资源池公共资源池规格modelarts.p3.large.ex,或者根据自己的需要进行选择计算节点个数1点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成pred_results目录和_result.txt文件,其中pred_results目录中是所有图片的预测结果。
  • [线上活动] 【线上活动】“华为云AI”官方隆重推出脑力挑战赛!仅限1天,好礼等你拿!
    “华为云AI"官方隆重推出脑力挑战赛!仅限1天,好礼等你拿!这个周末,各位看官就不服来战哟~ **参与方式:** 关注微信公众号“华为云AI"公众号,在对话框回复:脑力挑战赛 即可参与挑战 **活动奖励:** 一等奖:荣耀智能手表 二等奖:华为AI音响 三等奖:华为定制背包 优秀奖:AI训练营定制T恤 **获奖规则:** 答题积分达50分以上者前3名颁发一二三等奖(各1名),四五名颁发优秀奖(共2名) 参与时间:2020年11月28日10:00--11月29日10:00 我们将在11月30日(周一)上午公布获奖者名单,请获奖者添加华为云小助手微信(微信号:shiljiqin),回复获奖积分截图领取奖品 ![image.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/28/103416lxb5bo7vwny0ouxo.png) 有趣又烧脑,聪明的你来试试吧! 更干货和专家答疑都在这!扫码添加华为云小助手回复“AI”进专业AI开发者群,关注【华为云AI】公众号了解更多 ![公众号结尾图片.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/28/103547qsbsnomto6lbc2fc.jpg)
  • [AI Gallery] 【AI市场】物体检测算法,订阅算法后可以直接调用数据集吗?
  • [其他] AI可以助力中医的发展吗?
    现在是一个什么样的状况?有没有什么应用?我想可能非常困难,就那把脉来说首先,要能能将一个人的脉动数字化然后,让老中医打上标签,让AI训练,识别出,比如,平常人的脉搏,或者是喜脉之类的,当然有很多其他分类,
  • [Atlas200] 【Atlas 200】【图像编解码】请问无3559的Atlas 200AI模块可以支持16路编解码吗?
    【功能模块】 图像编解码【操作步骤&问题现象】1、无3559的Atlas 200 模块可以支持16路编解码?2、DVPP模块只可以用于带3559芯片的设备吗?3、如果Atlas 200 AI模块支持16路编解码,请问使用什么API,有相关demo吗【截图信息】【日志信息】(可选,上传日志内容或者附件)