本次大赛提供了三个资源包:“2019西安人工智能大赛150 GPU小时资源包 包月”、“2019西安人工智能大赛150 CPU小时资源包 包月”和“OBS存储包 100GB_包月”。其中的“OBS存储包 100GB_包月”包含以下内容:
1) 华北-北京四,标准存储包,单AZ,100GB;
2) GET和其他请求 240 千次;
3) PUT/COPY/POST/LIST请求 60 千次。
一般是多AZ、请求次数超限制和公网下载会引起OBS欠费。
1.多AZ问题及其解决办法
要想使用大赛提供的“OBS存储包 100GB_包月”资源包,必须按照下图创建新桶,容易犯的错误是没有把“多AZ”关闭。

可以进入到网页版OBS,然后按照下图查看自己创建的桶是否关闭了多AZ:

如果您创建的桶属于多AZ,则该桶产生的费用不在OBS套餐包范围内,需要自行付费。解决办法:新建一个单AZ的桶,使用OBS Brower将原来多AZ桶中的文件移动到新的桶中,操作方法如下图所示:

注意:第2步点击移动后不会有什么提示,只要点击了就行

点击粘贴后会弹出一个窗口,提示同名对象将会被覆盖:

如果没有问题,点击确定即可完成数据的移动。
2. OBS GET类和PUT类请求次数超限制问题及其解决办法
首先解释一下请求次数的计算方式,在OBS网页或OBS Browser浏览数据、拷贝或下载数据都会消耗GET次数,消耗的GET次数并不等于文件数,而是等于底层API通信的GET次数。比如下载一个大文件,底层可能需要多次通信,那么GET次数就是多次。同理,上传文件将消耗PUT次数,也是指底层API通信的PUT次数。
baseline代码中,训练时是将OBS上含有数千个文件的训练数据目录拷贝到ModelArts,这样将会消耗很多GET次数,可以按照如下步骤来解决:
1)在自己机器本地,将训练数据目录打包成一个压缩包,上传到OBS;
2)修改训练代码,从OBS拷贝训练数据压缩包到ModelArts,在代码中解压,再加载数据进行训练。
3. 公网下载收费及其解决办法
OBS计费项请查看:https://www.huaweicloud.com/pricing.html?tab=detail#/obs,请仔细浏览其中的收费项。
可以看到公网流出流量的收费是:08:00-24:00(忙时)0.5000元/GB
如果需要从OBS下载小于100MB的文件,可以在ModelArts notebook中将其拷贝到notebook,再从notebook下载,因为截止到目前(2019年11月23日)notebook下载文件的限制是不超过100MB。如果要下载超过100MB的文件,则只能从OBS网页版或OBS Browser下载。




请问这种无法创建新桶的问题,应该怎么解决?
ModelArts大赛
2019-12-11 16:19