建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想

【深圳开放数据应用创新大赛】FAQ列表(持续更新)

ModelArts... 2020/5/13 3321

1. 共性问题

1.1 华为云ModelArts平台使用问题

1、在大赛比赛过程中,华为ModelArts是免费使用吗?

答:比赛过程中,有以下三种方式来使用ModelArts:

1)使用代金券

华为云大赛的大赛介绍页面可以领取代金券,仅可用于抵扣ModelArts和OBS上产生的费用,领取代金券后,可以参考下图查看代金券的余额和有效期,余额消耗完或有效期到了之后,代金券即失效;

2)使用ModelArts平台上的免费算力

目前ModelArts平台提供免费算力,参考下图进入ModelArts控制台页面,点击红框处,即可查看免费算力的详细使用规则。有两点要注意:1、免费算力和代金券是独立的、互不影响的;2、免费算力只是免去ModelArts上CPU和CPU的使用费用,不包含OBS的使用费用,如果你不从OBS下载大量资料到自己的本地机器(0.5元/GB),正常参赛一般指只需要消耗几元的OBS费用,点此查看OBS价格详情

3)自费

自行充值,可使用华为云上的任何服务

 

2、登陆华为云平台,出现如下故障。有什么解决办法呢?

1.png

答:这种情况很有可能是欠费了,可以参考下图点击“费用”到费用中心查看自己的账号是否已经欠费了。如果已经欠费,需充值抵消掉欠费才能重新使用,当前大赛领取的代金券无法抵扣已提前发生的欠费。

2.png

 

3、obs 用秘钥登录的时候,访问路径怎么填?

答:空着即可

 

1.2 模型提交问题

1、模型训练也必须在云端上进行吗?提交是把本地训练好的model直接上传到ModelArt吗?

答:你可以在华为云ModelArts平台上训练,上面有充足的算力,你也可以使用自己的机器训练,将训练好的模型上传到OBS,从OBS导入到ModelArts,再提交至大赛平台即可。注意模型从OBS导入到ModelArts之前,需要自己动手写一个config.json和一个customize_service.py文件,这两个文件的编写需要满足ModelArts平台的模型包规范,建议参考大赛提供的Baseline代码和文档,里面有写好的、完整的config.json和customize_service.py。

 

2、导入模型时,可以通过config.json来pip安装不同版本的框架吗?比如平台的pytorch是1.0的,可以装1.4版本的吗?

答:可以在config.json的"dependencies"中添加python包的名称及版本号,当前ModelArts平台使用cuda10.0,如果需安装pytroch,要注意cuda版本的匹配

 

3、请问可以用docker导入模型吗?

答:当前docker模型不支持大赛自动判分

 

4、在线部署成功以后提交作品显示这个是怎么回事inference result not exist

3.jpg

答:inference result not exist表示预测结果不存在或不符合格式。提交模型之前,建议先将模型部署成在线服务,并上传图片进行预测,查看预测结果的文本格式是否和大赛要求的格式一致,只有预测成功且格式一致,模型提交才能出分

 

5、在线服务采用cpu,读取的模型均在cpu上,提交后模型测试时是采用gpu还是cpu?

答:大赛后台使用CPU判分

 

1.3 开发调试问题

1、华为云上的cuda 10.2能改成10.1吗?为什么一定要用cuda9,用cuda10可以吗?

答:关于ModelArts平台cuda版本的问题,请查看此帖

 

2、opencv读取的问题,我用PIL读取没问题换成cv有bug?

答:cv读取图片的功能不如PIL的好用,比如cv2.imread不支持中文路径、不支持一些特殊格式的图片

 

3、ModelArts中可以安装其他python模块吗?

答:ModelArts的Notebook和训练作业中都可以安装Python模块。

1)Notebook中的安装方法

进入到notebook后,打开terminal,使用conda info -e可以查看到已安装如下环境:

sh-4.3$ conda info -e

# conda environments:

#

                         /home/ma-user/anaconda3

                         /home/ma-user/anaconda3/envs/MXNet-1.2.1

                         /home/ma-user/anaconda3/envs/PySpark-2.3.2

                         /home/ma-user/anaconda3/envs/Pytorch-1.0.0

                         /home/ma-user/anaconda3/envs/TensorFlow-1.13.1

                         /home/ma-user/anaconda3/envs/TensorFlow-1.8

                         /home/ma-user/anaconda3/envs/XGBoost-Sklearn

base                  *  /opt/conda

我们需要先选择一个环境进行激活,比如执行命令:

source activate /home/ma-user/anaconda3/envs/Pytorch-1.0.0

然后就会进入到已安装了Pytorch-1.0.0的一个python环境,接着执行pip list命令可以查看已经安装的模块,如果没有安装自己需要的模块,可以使用 pip install 模块名==x.x.x.x 命令来进行安装,新模块将会安装在 /home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages目录下,由于Notebook的免费EVS是挂载在 /home/ma-user/work目录下,所以只有work目录下的内容才能在notebook关机重启后仍然会被保留,刚才新安装的模块是在 /home/ma-user/anaconda3/…目录下,Notebook是以容器的方式运行的,因此该目录下的内容在notebook关机重启后就会恢复原样了。

如果想永久保留刚安装的新模块,可以执行如下命令:

mkdir /home/ma-user/work/{你的工程目录}/3rdtools

cp -r /home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/模块名 /home/ma-user/work/{你的工程目录}/3rdtools

这样,新安装的模块就永久保留在了/home/ma-user/work/{你的工程目录}/3rdtools目录下

运行自己的代码时,可以在代码的开头添加如下几行代码:

import sys

sys.path.insert(0, '/home/ma-user/work/{你的工程目录}/3rdtools')

这两行代码的含义是优先使用“/home/ma-user/work/{你的工程目录}/3rdtools目录下的python”模块

2)训练作业中的安装方法

请参考此文档

 

4、自己编译的whl,是不是编译whl的时候,环境的cuda和torch都要和华为云的一样啊?

答:这个取决于你要编译什么whl,如果依赖于具体版本的cuda,那就要和华为云ModelArts上的一样,因为目前ModelArts上不支持自定义安装cuda。

 

5、在训练作业中如何下载外网的预训练参数文件?

答:训练作业中不支持连外网下载任何文件,如果你需要用到预训练参数文件,可以自行手动下载该模型,并上传到自己的OBS路径,然后在训练作业的代码中执行如下代码将参数文件从OBS拷贝到训练作业的本地路径:

import   moxing as mox

mox.file.copy('s3://xxx/…/xxx.h5,   'xxx/…/xxx.h5)

之后就可以直接加载模型了:

 xxx.load_weights(model,   'xxx/…/xxx.h5)


6、自己在线下能跑的代码,如何进行代码改造,使其能在ModelArts上跑?

答:进行代码改造只需要遵循两条线索:s3路径的处理和模型规范的保证。只要能处理好s3路径,就能保证训练无问题。保证输出的模型符合ModelArts的模型规范,就能成功发布模型。baseline代码中搜索”file.”,即可查到所有关于s3路径处理的方法,模型规范的问题请查看上面1.2 模型提交问题

 

7、在ModelArts Notebook中如何安装Detectron2?

答:点击链接下载安装指导脚本,上传到ModelArts Notebook中,只需按顺序执行就可以了


8、 在ModelArts Notebook中如何安装mmdetection?

答:点击链接下载安装指导脚本,上传到ModelArts Notebook中,只需按顺序执行就可以了


2. 各赛道具体问题

2.1 生活垃圾图片分类

1、大赛能使用第三方数据么?

答:可以使用

 

2、初赛B榜会切换数据吗?

答:会切换数据

 

3、初赛进决赛会审查代码吗?

答:会审查代码

 

4、已按官网提示图片操作办法操作,但提交显示预测图片与规定的图片长宽不符合,如何解决?

答:为帮助定位问题,请您提供测试图片和错误日志的截图

 

2.2 深圳北站周边交通拥堵指数预测

1、大赛中,交通预测评测极端情况该如何考虑?

答:

 

2、交通赛题中,拥堵指数的阈值是多少?

答:

 

2.3 粤港澳大湾区强降水临近预测

1、降水预测赛题里评分,hss计算公式,权重是多少?

答:

 

2、降水预测赛题提交文件格式应该是怎样的呀?

答:

 

回复 (4)

3c2z1l
0 0
2020/7/8 15:56

颁奖晚会算法赛道的队伍参加吗?

2020/6/12 09:49

回复:Ra1n 发表于 2020-6-1 10:42 再次询问,降水预测赛题里评分,hss计算公式,权重是多少?想不出一个算法比赛,不公布具体评分指标计算方式有什么意义

建议选手对预报时间间隔较长、降水强度较大的数据给予相对较高的权重(权重之和为1),好像赛题专家故意这么设置的,不公布具体的权重值。

Ra1n

2020-6-23 11:23

好的,谢谢回复,请问降水预报群的添加方式在哪里可以找到?
... 展开
2020/6/11 21:54

回复:Ra1n 发表于 2020-6-1 10:42 再次询问,降水预测赛题里评分,hss计算公式,权重是多少?想不出一个算法比赛,不公布具体评分指标计算方式有什么意义
有在交流群提问吗?降水的群好像有赛题专家。
Ra1n
0 0
2020/6/1 10:42

再次询问,降水预测赛题里评分,hss计算公式,权重是多少?
想不出一个算法比赛,不公布具体评分指标计算方式有什么意义

上划加载中
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

ModelArts开发者

角色:成员

话题:10

发消息
发表于2020年05月13日 17:21:42 33214
直达本楼层的链接
楼主
正序浏览 只看该作者
【深圳开放数据应用创新大赛】FAQ列表(持续更新)

1. 共性问题

1.1 华为云ModelArts平台使用问题

1、在大赛比赛过程中,华为ModelArts是免费使用吗?

答:比赛过程中,有以下三种方式来使用ModelArts:

1)使用代金券

华为云大赛的大赛介绍页面可以领取代金券,仅可用于抵扣ModelArts和OBS上产生的费用,领取代金券后,可以参考下图查看代金券的余额和有效期,余额消耗完或有效期到了之后,代金券即失效;

2)使用ModelArts平台上的免费算力

目前ModelArts平台提供免费算力,参考下图进入ModelArts控制台页面,点击红框处,即可查看免费算力的详细使用规则。有两点要注意:1、免费算力和代金券是独立的、互不影响的;2、免费算力只是免去ModelArts上CPU和CPU的使用费用,不包含OBS的使用费用,如果你不从OBS下载大量资料到自己的本地机器(0.5元/GB),正常参赛一般指只需要消耗几元的OBS费用,点此查看OBS价格详情

3)自费

自行充值,可使用华为云上的任何服务

 

2、登陆华为云平台,出现如下故障。有什么解决办法呢?

1.png

答:这种情况很有可能是欠费了,可以参考下图点击“费用”到费用中心查看自己的账号是否已经欠费了。如果已经欠费,需充值抵消掉欠费才能重新使用,当前大赛领取的代金券无法抵扣已提前发生的欠费。

2.png

 

3、obs 用秘钥登录的时候,访问路径怎么填?

答:空着即可

 

1.2 模型提交问题

1、模型训练也必须在云端上进行吗?提交是把本地训练好的model直接上传到ModelArt吗?

答:你可以在华为云ModelArts平台上训练,上面有充足的算力,你也可以使用自己的机器训练,将训练好的模型上传到OBS,从OBS导入到ModelArts,再提交至大赛平台即可。注意模型从OBS导入到ModelArts之前,需要自己动手写一个config.json和一个customize_service.py文件,这两个文件的编写需要满足ModelArts平台的模型包规范,建议参考大赛提供的Baseline代码和文档,里面有写好的、完整的config.json和customize_service.py。

 

2、导入模型时,可以通过config.json来pip安装不同版本的框架吗?比如平台的pytorch是1.0的,可以装1.4版本的吗?

答:可以在config.json的"dependencies"中添加python包的名称及版本号,当前ModelArts平台使用cuda10.0,如果需安装pytroch,要注意cuda版本的匹配

 

3、请问可以用docker导入模型吗?

答:当前docker模型不支持大赛自动判分

 

4、在线部署成功以后提交作品显示这个是怎么回事inference result not exist

3.jpg

答:inference result not exist表示预测结果不存在或不符合格式。提交模型之前,建议先将模型部署成在线服务,并上传图片进行预测,查看预测结果的文本格式是否和大赛要求的格式一致,只有预测成功且格式一致,模型提交才能出分

 

5、在线服务采用cpu,读取的模型均在cpu上,提交后模型测试时是采用gpu还是cpu?

答:大赛后台使用CPU判分

 

1.3 开发调试问题

1、华为云上的cuda 10.2能改成10.1吗?为什么一定要用cuda9,用cuda10可以吗?

答:关于ModelArts平台cuda版本的问题,请查看此帖

 

2、opencv读取的问题,我用PIL读取没问题换成cv有bug?

答:cv读取图片的功能不如PIL的好用,比如cv2.imread不支持中文路径、不支持一些特殊格式的图片

 

3、ModelArts中可以安装其他python模块吗?

答:ModelArts的Notebook和训练作业中都可以安装Python模块。

1)Notebook中的安装方法

进入到notebook后,打开terminal,使用conda info -e可以查看到已安装如下环境:

sh-4.3$ conda info -e

# conda environments:

#

                         /home/ma-user/anaconda3

                         /home/ma-user/anaconda3/envs/MXNet-1.2.1

                         /home/ma-user/anaconda3/envs/PySpark-2.3.2

                         /home/ma-user/anaconda3/envs/Pytorch-1.0.0

                         /home/ma-user/anaconda3/envs/TensorFlow-1.13.1

                         /home/ma-user/anaconda3/envs/TensorFlow-1.8

                         /home/ma-user/anaconda3/envs/XGBoost-Sklearn

base                  *  /opt/conda

我们需要先选择一个环境进行激活,比如执行命令:

source activate /home/ma-user/anaconda3/envs/Pytorch-1.0.0

然后就会进入到已安装了Pytorch-1.0.0的一个python环境,接着执行pip list命令可以查看已经安装的模块,如果没有安装自己需要的模块,可以使用 pip install 模块名==x.x.x.x 命令来进行安装,新模块将会安装在 /home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages目录下,由于Notebook的免费EVS是挂载在 /home/ma-user/work目录下,所以只有work目录下的内容才能在notebook关机重启后仍然会被保留,刚才新安装的模块是在 /home/ma-user/anaconda3/…目录下,Notebook是以容器的方式运行的,因此该目录下的内容在notebook关机重启后就会恢复原样了。

如果想永久保留刚安装的新模块,可以执行如下命令:

mkdir /home/ma-user/work/{你的工程目录}/3rdtools

cp -r /home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/模块名 /home/ma-user/work/{你的工程目录}/3rdtools

这样,新安装的模块就永久保留在了/home/ma-user/work/{你的工程目录}/3rdtools目录下

运行自己的代码时,可以在代码的开头添加如下几行代码:

import sys

sys.path.insert(0, '/home/ma-user/work/{你的工程目录}/3rdtools')

这两行代码的含义是优先使用“/home/ma-user/work/{你的工程目录}/3rdtools目录下的python”模块

2)训练作业中的安装方法

请参考此文档

 

4、自己编译的whl,是不是编译whl的时候,环境的cuda和torch都要和华为云的一样啊?

答:这个取决于你要编译什么whl,如果依赖于具体版本的cuda,那就要和华为云ModelArts上的一样,因为目前ModelArts上不支持自定义安装cuda。

 

5、在训练作业中如何下载外网的预训练参数文件?

答:训练作业中不支持连外网下载任何文件,如果你需要用到预训练参数文件,可以自行手动下载该模型,并上传到自己的OBS路径,然后在训练作业的代码中执行如下代码将参数文件从OBS拷贝到训练作业的本地路径:

import   moxing as mox

mox.file.copy('s3://xxx/…/xxx.h5,   'xxx/…/xxx.h5)

之后就可以直接加载模型了:

 xxx.load_weights(model,   'xxx/…/xxx.h5)


6、自己在线下能跑的代码,如何进行代码改造,使其能在ModelArts上跑?

答:进行代码改造只需要遵循两条线索:s3路径的处理和模型规范的保证。只要能处理好s3路径,就能保证训练无问题。保证输出的模型符合ModelArts的模型规范,就能成功发布模型。baseline代码中搜索”file.”,即可查到所有关于s3路径处理的方法,模型规范的问题请查看上面1.2 模型提交问题

 

7、在ModelArts Notebook中如何安装Detectron2?

答:点击链接下载安装指导脚本,上传到ModelArts Notebook中,只需按顺序执行就可以了


8、 在ModelArts Notebook中如何安装mmdetection?

答:点击链接下载安装指导脚本,上传到ModelArts Notebook中,只需按顺序执行就可以了


2. 各赛道具体问题

2.1 生活垃圾图片分类

1、大赛能使用第三方数据么?

答:可以使用

 

2、初赛B榜会切换数据吗?

答:会切换数据

 

3、初赛进决赛会审查代码吗?

答:会审查代码

 

4、已按官网提示图片操作办法操作,但提交显示预测图片与规定的图片长宽不符合,如何解决?

答:为帮助定位问题,请您提供测试图片和错误日志的截图

 

2.2 深圳北站周边交通拥堵指数预测

1、大赛中,交通预测评测极端情况该如何考虑?

答:

 

2、交通赛题中,拥堵指数的阈值是多少?

答:

 

2.3 粤港澳大湾区强降水临近预测

1、降水预测赛题里评分,hss计算公式,权重是多少?

答:

 

2、降水预测赛题提交文件格式应该是怎样的呀?

答:

 

点赞 举报
分享

分享文章到朋友圈

分享文章到微博

3c2z1l

角色:成员

话题:0

发消息
发表于2020年07月08日 15:56:17
直达本楼层的链接
5#
只看该作者

颁奖晚会算法赛道的队伍参加吗?

点赞 评论 引用 举报

没想好昵称

角色:成员

话题:0

发消息
发表于2020年06月12日 09:49:44
直达本楼层的链接
地板
只看该作者

回复:Ra1n 发表于 2020-6-1 10:42 再次询问,降水预测赛题里评分,hss计算公式,权重是多少?想不出一个算法比赛,不公布具体评分指标计算方式有什么意义

建议选手对预报时间间隔较长、降水强度较大的数据给予相对较高的权重(权重之和为1),好像赛题专家故意这么设置的,不公布具体的权重值。

评论
Ra1n 2020-6-23 11:23 评论

好的,谢谢回复,请问降水预报群的添加方式在哪里可以找到?

... 查看全部
点赞 评论 引用 举报

没想好昵称

角色:成员

话题:0

发消息
发表于2020年06月11日 21:54:56
直达本楼层的链接
板凳
只看该作者

回复:Ra1n 发表于 2020-6-1 10:42 再次询问,降水预测赛题里评分,hss计算公式,权重是多少?想不出一个算法比赛,不公布具体评分指标计算方式有什么意义
有在交流群提问吗?降水的群好像有赛题专家。
点赞 评论 引用 举报

Ra1n

角色:成员

话题:0

发消息
发表于2020年06月01日 10:42:44
直达本楼层的链接
沙发
只看该作者

再次询问,降水预测赛题里评分,hss计算公式,权重是多少?
想不出一个算法比赛,不公布具体评分指标计算方式有什么意义

点赞 评论 引用 举报

游客

您需要登录后才可以回帖 登录 | 立即注册