建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想

关于OBS欠费问题

ModelArts... 2019/11/23 2217

本次大赛提供了三个资源包:“2019西安人工智能大赛150 GPU小时资源包 包月”、“2019西安人工智能大赛150 CPU小时资源包 包月“OBS存储包 100GB_包月。其中的“OBS存储包 100GB_包月包含以下内容:

1)  华北-北京四,标准存储包,单AZ100GB

2)  GET和其他请求 240 千次;

3)  PUT/COPY/POST/LIST请求 60 千次。

一般是多AZ、请求次数超限制和公网下载会引起OBS欠费。


1.多AZ问题及其解决办法

要想使用大赛提供的“OBS存储包 100GB_包月”资源包,必须按照下图创建新桶,容易犯的错误是没有把AZ”关闭。

create_bucket.png


可以进入到网页版OBS,然后按照下图查看自己创建的桶是否关闭了多AZ

check_bucket.jpg

如果您创建的桶属于多AZ,则该桶产生的费用不在OBS套餐包范围内,需要自行付费。解决办法:新建一个单AZ的桶,使用OBS Brower将原来多AZ桶中的文件移动到新的桶中,操作方法如下图所示:

注意:第2步点击移动后不会有什么提示,只要点击了就行



点击粘贴后会弹出一个窗口,提示同名对象将会被覆盖:


如果没有问题,点击确定即可完成数据的移动。



2. OBS GET类和PUT类请求次数超限制问题及其解决办法

首先解释一下请求次数的计算方式,在OBS网页或OBS Browser浏览数据、拷贝或下载数据都会消耗GET次数,消耗的GET次数并不等于文件数,而是等于底层API通信的GET次数。比如下载一个大文件,底层可能需要多次通信,那么GET次数就是多次。同理,上传文件将消耗PUT次数,也是指底层API通信的PUT次数。

baseline代码中,训练时是将OBS上含有数千个文件的训练数据目录拷贝到ModelArts,这样将会消耗很多GET次数,可以按照如下步骤来解决:

1)在自己机器本地,将训练数据目录打包成一个压缩包,上传到OBS;

2)修改训练代码,从OBS拷贝训练数据压缩包到ModelArts,在代码中解压,再加载数据进行训练。


3. 公网下载收费及其解决办法

OBS计费项请查看:https://www.huaweicloud.com/pricing.html?tab=detail#/obs请仔细浏览其中的收费项

可以看到公网流出流量的收费是:08:00-24:00(忙时)0.5000元/GB

如果需要从OBS下载小于100MB的文件,可以在ModelArts notebook中将其拷贝到notebook,再从notebook下载,因为截止到目前(2019年11月23日)notebook下载文件的限制是不超过100MB。如果要下载超过100MB的文件,则只能从OBS网页版或OBS Browser下载。

回复 (1)

2019/12/7 16:43

请问这种无法创建新桶的问题,应该怎么解决?

image.png

ModelArts大赛

2019-12-11 16:19

你的账号欠费太久,资源被清空了,试试充值或换一个账号
... 展开
上划加载中
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

ModelArts大赛

角色:成员

话题:10

发消息
发表于2019年11月23日 17:38:29 22171
直达本楼层的链接
楼主
倒序浏览 只看该作者
关于OBS欠费问题

本次大赛提供了三个资源包:“2019西安人工智能大赛150 GPU小时资源包 包月”、“2019西安人工智能大赛150 CPU小时资源包 包月“OBS存储包 100GB_包月。其中的“OBS存储包 100GB_包月包含以下内容:

1)  华北-北京四,标准存储包,单AZ100GB

2)  GET和其他请求 240 千次;

3)  PUT/COPY/POST/LIST请求 60 千次。

一般是多AZ、请求次数超限制和公网下载会引起OBS欠费。


1.多AZ问题及其解决办法

要想使用大赛提供的“OBS存储包 100GB_包月”资源包,必须按照下图创建新桶,容易犯的错误是没有把AZ”关闭。

create_bucket.png


可以进入到网页版OBS,然后按照下图查看自己创建的桶是否关闭了多AZ

check_bucket.jpg

如果您创建的桶属于多AZ,则该桶产生的费用不在OBS套餐包范围内,需要自行付费。解决办法:新建一个单AZ的桶,使用OBS Brower将原来多AZ桶中的文件移动到新的桶中,操作方法如下图所示:

注意:第2步点击移动后不会有什么提示,只要点击了就行



点击粘贴后会弹出一个窗口,提示同名对象将会被覆盖:


如果没有问题,点击确定即可完成数据的移动。



2. OBS GET类和PUT类请求次数超限制问题及其解决办法

首先解释一下请求次数的计算方式,在OBS网页或OBS Browser浏览数据、拷贝或下载数据都会消耗GET次数,消耗的GET次数并不等于文件数,而是等于底层API通信的GET次数。比如下载一个大文件,底层可能需要多次通信,那么GET次数就是多次。同理,上传文件将消耗PUT次数,也是指底层API通信的PUT次数。

baseline代码中,训练时是将OBS上含有数千个文件的训练数据目录拷贝到ModelArts,这样将会消耗很多GET次数,可以按照如下步骤来解决:

1)在自己机器本地,将训练数据目录打包成一个压缩包,上传到OBS;

2)修改训练代码,从OBS拷贝训练数据压缩包到ModelArts,在代码中解压,再加载数据进行训练。


3. 公网下载收费及其解决办法

OBS计费项请查看:https://www.huaweicloud.com/pricing.html?tab=detail#/obs请仔细浏览其中的收费项

可以看到公网流出流量的收费是:08:00-24:00(忙时)0.5000元/GB

如果需要从OBS下载小于100MB的文件,可以在ModelArts notebook中将其拷贝到notebook,再从notebook下载,因为截止到目前(2019年11月23日)notebook下载文件的限制是不超过100MB。如果要下载超过100MB的文件,则只能从OBS网页版或OBS Browser下载。

点赞 举报
分享

分享文章到朋友圈

分享文章到微博

吊车尾洛

角色:成员

话题:0

发消息
发表于2019年12月07日 16:43:35
直达本楼层的链接
沙发
只看该作者

请问这种无法创建新桶的问题,应该怎么解决?

image.png

评论
ModelArts大赛 2019-12-11 16:19 评论

你的账号欠费太久,资源被清空了,试试充值或换一个账号

... 查看全部
点赞 评论 引用 举报

游客

您需要登录后才可以回帖 登录 | 立即注册