• [AI大赛] DynamicRCNN-目标检测算法实战baseline
    本帖是对ModelArts AI Gallery的[DynamicRCNN-目标检测](https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=6842fa7f-2b4c-4b73-8001-82070ac47f5c)算法实战baseline,参赛者可参考本帖选择更多论文算法进行实战。 ### 1、准备工作 ##### 1.1 创建OBS桶(如已有OBS桶可跳过此步骤,直接进入下一节) a.[点击此处](https://console.huaweicloud.com/console/?agencyId=414a22c9ff514e74b1a852e98e6afdac&region=cn-north-4&locale=zh-cn#/obs/manager/buckets) 登录对象存储服务(OBS)管理控制台。 b. 单击页面右上方“创建桶”,在弹出的页面中选择区域(华北-北京四)、自定义桶名称。本baseline创建的桶名称为obs-paper-baseline。 ![1.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/151335n01789ukcl2wdw5r.png) c. 单击“立即创建”,完成OBS桶的创建。 ##### 1.2 完成ModelArts全局配置(如已完成ModelArts全局配置可跳过此步骤,直接进入下一节) a.[点击此处](https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dashboard)登录ModelArts管理控制台。 b. 单击左侧菜单栏的“全局配置”,参考下图完成访问授权的配置。 ![2.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/151412ajdi7tvwmq902fd2.png) ### 2、下载crowdhuman 数据集 ##### 2.1 [点击此处](https://console.huaweicloud.com/modelarts/?region=cn-north-4#/aiMarket/datasetDetail/metadata?content_id=8391bea4-dfe0-4dfa-922f-e7547fa78b2b)进入数据集下载页面。 ##### 2.2 单击页面右侧“下载”按钮,在下载详情页面选择对象存储服务(OBS)路径,新建文件夹等(参考下图)。 ![15.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/13/100600lzklp8fllwz1otz3.png) ##### 2.3 单击“确定”,进入数据集下载状态。(下载约需要5分钟,可直接进入下一步操作) ### 3、订阅DynamicRCNN算法 ##### 3.1 [点击此处](https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=6842fa7f-2b4c-4b73-8001-82070ac47f5c)进入算法订阅页面。 ##### 3.2 单击页面右侧“订阅”,订阅之后单击“前往控制台”,选择“华北-北京四”,然后执行下一步第4节训练模型操作。 ![5.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/210613iwi1zyqfjojxk3bl.png) ### 4、训练模型 ##### 4.1 等待订阅的算法“就绪”状态后,单击“创建训练作业”,如下图所示。 ![4.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/151752ekukgwigh59rij7a.png) ##### 4.2 在创建训练作业页面,自定义作业名称,选择“数据来源”、“训练输出”(在OBS桶下新建一个文件夹存储训练生成的模型文件)。 ![6.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/151818hvti5vh5bktrlneh.png) ##### 4.3 按照下图设置“调优参数”。 ![7.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/151958psjahqykcsvrqhos.png) ##### 4.4 按照下图选择训练资源,然后单击“下一步”、“提交”进入模型训练。(训练约需要12分钟,等待训练完成后执行下一步操作) ![8.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/152056vfqhvi8wu4midrbj.png) ### 5、创建模型 训练作业运行完成后,单击下图“创建模型”按钮进入导入模型页面,自定义模型名称后单击“立即创建”。模型创建需等待几分钟,创建完成后执行下一节操作。 ![9.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/152209d9112up35gl80qfp.png) ![10.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/152549gfunukjjs0k9z8f5.png) ### 6、将模型发布至AI Gallery ##### 6.1 [点击此处](https://console.huaweicloud.com/modelarts/?region=cn-north-4#/aiMarket/aiMarketCreate?type=model)进入模型发布页面。(首次发布需完成入驻ModelArts AI Gallery操作) ##### 6.2 自定义标题(不能以纯数字串、纯拼音、纯英文命名,可包含算法名称、领域、应用场景等信息),选择上述创建完成的模型,单击“发布”。 ![11.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/152600fq1zkacjeqf1iknx.png) ##### 6.3 编辑副标题、上传封面图、添加标签、描述及限制后,点击所有“保存”按钮后即发布成功。(执行下一步操作) ![12.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/152958flmbts7lsybtjzr9.png) ### 7、提交实战成果 ##### 7.1 [点击此处](https://ma-competitions-bj4.obs.cn-north-4.myhuaweicloud.com/paper/华为云账号_xx.docx)下载提交文档,按照文档要求填写算法实战成果。 ##### 7.2 [点击此处](https://competition.huaweicloud.com/information/1000041393/submission)进入大赛平台“提交作品”页面,上传提交文档。(可以完成所有算法实战后,一次性提交实战成果) ![13.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/1530143qtvudeld1wu4hkt.png) 对以上内容有任何疑问,请在本帖回帖或扫描如下二维码回复“论文”加入交流群! ![14.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/06/153022do0xxpcqzypbkvsw.png)
  • [AI大赛] 早上好
    五一假日归来,大家早上好!
  • [问题求助] 阿里云OSS迁移华为云OBS,oss的上传回调有什么替代方案?
    阿里OSS上传回调功能,华为云OBS有什么替代的功能或方案吗?阿里OSS上传回调:https://help.aliyun.com/document_detail/84798.html?spm=a2c4g.11174283.6.970.8d217da242fBeS
  • [问题求助] 希望 obs 能支持 webp 图像格式直接在浏览器预览,而不是下载。
    webp 图片格式,是 Google 推出,目前被互联网公司广泛应用。相比 jpge 与 png 图片,webp 格式的文件大小可以减少 20% 到 30%。 目前很多互联网公司都使用 webp 格式的图片。华为云 obs 服务,当前 webp 格式的图片,浏览器打开链接时,直接 download, 而不是预览。 比如下面两个对象:https://hot-image-1.obs.cn-east-3.myhuaweicloud.com/huawei/full/0fa336004bff33b6443b79f3feebf751734992f6.jpghttps://hot-image-1.obs.cn-east-3.myhuaweicloud.com/huawei/full/0fa336004bff33b6443b79f3feebf751734992f6.webp访问 webp 的这个, 直接文件下载,而不是预览。 即使手工修改了 webp 文件的元数据 content-type: image/webp 也不行希望华为云 obs 服务能支持 webp 格式的图片,用浏览器打开,可以直接预览,而不是下载。
  • [其他] 【DWS】【故障】DWS快照删除有文件残留,残留文件长期堆积,导致obs空间被占满影响本服务和其他服务
    问题现象:     DWS桶中文件不断积压,导致obs空间被占满影响本服务和其他服务分析原因:     DWS快照删obs快照文件有残留,导致快照文件在桶中不断积压规避方案:手动删除残留的文件,具体操作如下    1.使用op_cdk_sso/xxxxxx 登录cloudscope查看dwscontroller服务获取obs服务的配置信息,筛选obs.endpoint     2.登录数据库获取obsBucket,ak,sk信息              a. select tenantId from rds_cluster  where name='集群名称'              b.select obsBucket,ak,sk from rds_restenant t where realDomainId={tenantId } \G;               c.其中sk问加密密文,需要使用java -jar AESTool.jar进行解 3.使用1,2获取的信息,补充登录信息,使用obs工具登录obs服务 4.参考运营面快照情况,对残留过期的快照文件进行删除 5.联系obs的同事,调整碎片收集的时间,可以为30分钟,保证空间可以尽快恢复可用//认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全
  • [训练管理] 使用OBS上自己的代码创建训练作业,把OBS中的文件夹删了,训练的log中还是出现了这个文件夹的信息
    【功能模块】训练管理-训练作业【操作步骤&问题现象】创建训练作业-常用框架-代码目录为OBS中的代码这是train.py下的代码我把OBS中copynet.ckpt这个文件夹删了按道理应该输出“CHECK POINT DIR DOES'NT EXIST但是训练日志中还输出【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [数据加载及处理] 你是否还再为obs browser上传数据集感到烦恼
    【功能模块】obs上传文件【操作步骤&问题现象】现象:obs browser上传数据集速度慢、总是出现排队现象操作步骤:1、将需要上传的数据集放在压缩包中,然后上传到obs桶中,这样上传速度非常快(个人建议压缩包为zip格式,因为在服务器上不一定解压rar等压缩包命令,自己安装也比较麻烦)2、运行脚本文件即可将文件解压并保存到obs桶中这样做的原因:      首先说一下自己刚开始的做法:             (1)本地解压文件之后,直接将文件夹上传到obs桶中。相信很多人刚开始和我做法相同。                      缺点:耗时长、容易失败、电脑需要保持长时间开机和联网             (2)上传压缩包,每次训练的时候解压。                      缺点:谁都不能保证网络经过一次训练就达到自己想要的效果,这样会导致每次训练都需要解压,浪费训练时间【截图信息】这个是我自己上传一个6.9G文件运行时间,我这是在单卡上的运行时长,以及向obs中上传的时长一共需要50分钟。(运行8卡会更快,我没有测试)【日志信息】(可选,上传日志内容或者附件)
  • [AI大赛] 快速体验RetinaFace模型
    1、点击此处下载模型文件并解压2、安装OBS Browser+上传模型文件(如已安装,可直接上传模型文件)(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行(2)登录界面如下图所示,选择“账号登录”,输入华为云账号及密码,点击登录(3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示(4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“RetinaFace”,点击“上传”->“添加文件夹”-> 选择本地解压好的模型文件夹上传。3、点击此处进入ModelArts导入模型在ModelArts控制台左侧导航栏选择“模型管理-模型”,单击“导入”,在导入模型页面自定义模型名称,元模型来源选择参照下图选择,OBS路径选择至RetinaFace文件夹,即model上一层目录,单击立即创建。模型创建需等待几分钟,创建完成后执行下一步操作。4、将模型发布至AI Gallery(1) 点击此处进入模型发布页面。(首次发布需完成入驻ModelArts AI Gallery操作)(2) 自定义标题(不能以纯数字串、纯拼音、纯英文命名,可包含算法名称(名称改为RetinaFace)、领域、应用场景等信息),选择上述创建完成的模型,单击“发布”。(3)  编辑副标题、上传封面图、添加标签、描述及限制后,点击所有“保存”按钮后即发布成功。(描述及名称改为RetinaFace)
  • [AI大赛] Maxout DNN算法实战baseline
    本帖是对ModelArts AI Gallery构建MaxoutDNN生成d-vector算法实战baseline,参赛者可参考本帖选择更多论文算法进行实战。 ###1、准备工作 #####1.1 创建OBS桶(如已有OBS桶可跳过此步骤,直接进入下一节) a.[点击此处](https://console.huaweicloud.com/console/?agencyId=414a22c9ff514e74b1a852e98e6afdac&region=cn-north-4&locale=zh-cn#/obs/manager/buckets) 登录对象存储服务(OBS)管理控制台。 b. 单击页面右上方“创建桶”,在弹出的页面中选择区域(华北-北京四)、自定义桶名称。本baseline创建的桶名称为obs-paper-baseline。 ![1.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/205404bmffmmtbrqpgrzi2.png) c. 单击“立即创建”,完成OBS桶的创建。 #####1.2 完成ModelArts全局配置(如已完成ModelArts全局配置可跳过此步骤,直接进入下一节) a.[点击此处](https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dashboard)登录ModelArts管理控制台。 b. 单击左侧菜单栏的“全局配置”,参考下图完成访问授权的配置。 ![2.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/205629zejn408zwcsg5uxx.png) ###2、下载Voxceleb1数据集 #####2.1 [点击此处](https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=3441095a-47ce-44cf-9cad-bc8cb96c3aaa)进入数据集下载页面。 #####2.2 单击页面右侧“下载”按钮,在下载详情页面选择对象存储服务(OBS)路径,新建文件夹等(参考下图)。 ![3.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/210135cburxldjdfsdmads.png) #####2.3 单击“确定”,进入数据集下载状态。(下载约需要4分钟,可直接进入下一步操作) ###3、订阅Maxout DNN算法 #####3.1 [点击此处](https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=7ca0a6bf-797d-4adf-8172-e5853ada3063)进入算法订阅页面。 #####3.2 单击页面右侧“订阅”,订阅之后单击“前往控制台”,选择“华北-北京四”,然后执行下一步第4节训练模型操作。 ![5.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/210613iwi1zyqfjojxk3bl.png) ###4、训练模型 #####4.1 等待订阅的算法“就绪”状态后,单击“创建训练作业”,如下图所示。 ![4.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/210442wglo6xepcr6dktrr.png) #####4.2 在创建训练作业页面,自定义作业名称,选择“数据来源”、“训练输出”(在OBS桶下新建一个文件夹存储训练生成的模型文件)。 ![6.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/210830wzlbgbbjjikqtsof.png) #####4.3 按照下图设置“调优参数”,将红色框出的两个参数修改成5和0即可,删除load_weight框,其他参数默认。 ![7.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/211038kba3fvqvieb9ffiu.png) #####4.4 按照下图选择训练资源,然后单击“下一步”、“提交”进入模型训练。(训练约需要8分钟,等待训练完成后执行下一步操作) ![8.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/211134wuggijuskcnojrs3.png) ###5、创建模型 训练作业运行完成后,单击下图“创建模型”按钮进入导入模型页面,自定义模型名称后单击“立即创建”。模型创建需等待几分钟,创建完成后执行下一节操作。 ![9.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/211339cedmtodqmh8qev4l.png) ###6、将模型发布至AI Gallery #####6.1 [点击此处](https://console.huaweicloud.com/modelarts/?region=cn-north-4#/aiMarket/aiMarketCreate?type=model)进入模型发布页面。(首次发布需完成入驻ModelArts AI Gallery操作) #####6.2 自定义标题(不能以纯数字串、纯拼音、纯英文命名,可包含算法名称、领域、应用场景等信息),选择上述创建完成的模型,单击“发布”。 ![10.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/211800rlnuo2efgcapurxd.png) #####6.3 编辑副标题、上传封面图、添加标签、描述及限制后,点击所有“保存”按钮后即发布成功。(执行下一步操作) ![12.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/214902djvsk7hpvjza0kjr.png) ###7、提交实战成果 #####7.1 [点击此处](https://ma-competitions-bj4.obs.cn-north-4.myhuaweicloud.com/paper/华为云账号_xx.docx)下载提交文档,按照文档要求填写算法实战成果。 #####7.2 [点击此处](https://competition.huaweicloud.com/information/1000041393/submission)进入大赛平台“提交作品”页面,上传提交文档。(可以完成所有算法实战后,一次性提交实战成果) ![1736134soh3ltwihn16rzd.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/212815xugorflhk0a6hv8w.png) 对以上内容有任何疑问,请在本帖回帖或扫描如下二维码回复“论文”加入交流群! ![173654ivfyk1etoicnhkly.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/15/212719lh5oilnw5llrdp7j.png)
  • [公告] 华为云西南-贵阳一、华东-上海一、华东-上海二对象存储服务(OBS)云监控(CES)指标周期调整通知
    尊敬的华为云客户:为提升对象存储服务云监控服务质量,华为云计划于2021/04/16 00:00 至 2021/04/17 23:59对西南-贵阳一、华东-上海一、华东-上海二对象存储服务产品云监控指标周期进行调整,新指标周期于2021/04/17 23:59(北京时间)正式生效,生效后监控指标将按调整后的周期统计监控数据。具体调整详情如下:指标ID指标名称监控周期(原始指标)调整后影响调整前调整后download_bytes下载流量5分钟1分钟监控周期由5分钟调整为1分钟后,因统计周期变短,流量、请求次数的监控指标值会变小,平均时延不受影响。upload_bytes上传流量5分钟1分钟get_request_countGET类请求次数5分钟1分钟put_request_countPUT类请求次数5分钟1分钟first_byte_latencyGET类请求首字节平均时延5分钟1分钟request_count_4xx4xx错误次数5分钟1分钟request_count_5xx5xx错误次数5分钟1分钟调整过程中不影响已有监控指标的查看,指标监控周期可能会出现多次波动,请您等待5~10分钟后再进行查看操作。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。感谢您对华为云的支持!  
  • [技术干货] 非结构化数据如何实现备份和容灾,保证数据的安全可靠?
    | 非结构化数据如何实现备份和容灾,保证数据的安全可靠?@annoymous:先明确几个概念的定义,然后再做讨论。数据备份:通过提供原始数据在多个时间点的不同版本,来保障原始数据在大时间尺度上的可回溯性。备份数据最好能够保存在原始数据不同的物理设备上,以保障备份数据安全。数据容灾在原始数据不可访问的情况下,无需从数据备份中恢复数据,即可为系统提供原始数据的一个或多个时间点的、可读取、可写入、可修改、可删除的数据副本,来保障业务的可用性。备份窗口时间备份窗口时间是指完成一次数据备份操作所需要的时间。数据备份会消耗主机、存储、网络资源,因此备份窗口时间越小越好。灾备演练灾备演练是确保备份数据和容灾数据安全的最后一道防线。没有灾备演练的数据备份和数据容灾方案,都是不完整的,因为无法保障备份和容灾的数据一定可用。非结构化数据一般来说有NAS和对象两种存储方式,存储方式不同,数据量、小文件数量、日数据变化量的不同,都会影响到数据备份和数据容灾的技术方案。对象存储的数据备份和数据容灾:由于对象数据不可修改的特性——只能被删除或覆盖,不适合频繁修改的数据——因此对象存储数据备份技术相对简单,而且无需考虑备份数据量和小文件数量的影响。数据备份通过开启对象存储的版本功能来实现。这是真正等同于数据备份意义上的操作,但是对于数据频繁变化业务场景,会产生大量非预期冗余数据而占用大量存储空间——我们可能只需要保留几个时间点的数据,而非数据所有的变化。单个物理位置站点情况下,依靠对象存储自身的可靠性保障和数据持久性保障,来保障备份数据的安全。在2个或多个地理位置站点情况下,通过存储桶复制或构建跨广域网多逻辑站点的方式,利用对象存储高数据持久性保障的技术特性,提供备份数据安全保障和容灾保障。数据容灾在提供容灾保障的时候,对象存储能否提供同一对象数据在所有站点的可写功能就比较重要了。这能够保障在对象数据初始写入站点故障的时候,容灾站点bucket依然可以写入同一个对象数据的不同版本,实现数据容灾功能,保护业务的可用性。但这不是所有的对象存储产品都能够提供的功能。备份窗口时间在对象存储的技术架构下,对象数据每次写入或修改都是一个新的版本,因此不存在备份窗口时间的问题。总结一下:非结构化数据在对象系统上的备份和容灾,更多是依赖对象存储自身的技术特性,在某种程度上近似模拟出来的。NAS存储的数据备份和数据容灾:数据量不大,小文件数量有限,日数据变化量不多,传统企业级备份软件,能够在可接受的备份窗口时间内,完成数据备份和数据容灾。但是量变产生质变。在海量数据、海量小文件的前提下,哪怕日数据变化量有限,传统企业级备份软件,大多数时候都无法在可接受的备份窗口时间内,完成数据备份。这时候,最好的办法,就是使用NAS存储底层数据复制技术,来实现NAS存储海量非结构化数据的备份和容灾。@melody2004 某城市商业银行 系统架构师:这个问题楼上回答的已经很全面了,我想补充一下关于容灾方面的一些看法。因为工作需要,前段时间深入了解了一些对象存储的容灾解决方案。从现阶段看,非结构化数据的容灾解决方案,对象存储的解决方式是最完整可行的。(暂不考虑价格成本)关键问题是要解决数据在两个中心存储并如何分配的,在容灾情况下数据如何同步,保障一致性。其实我的理解,对象存储提供了从应用接口层到存储层的整体解决方案,这要比NAS存储在解决问题的层次要高一些,因此,在不考虑成本的前提下,对容灾有需求的,肯定是有限考虑对象存储的。@wangguoming:非结构化数据同结构化数据一样,可按照不同的需求,实现多种方式的备份。而唯一不一样的,对于大数据,或者说海量的非结构化数据,由于数据量的巨大,不能用传统的备份方式来处理,这时候我们会建议采用历史数据归档替代传统的备份,一方面保证数据保护的时间窗,同时确保数据的回溯访问时间。至于是采用对象还是文件还是专用的备份装置,需要考虑的核心仍然是应用需求!如果应用需要立即访问,归档一定比备份好,如果考虑得更多的成本,对RTO不是很敏感的话,采用专用备份装置,连接低成本的对象存储也会是一个不错的选择。而对于容灾,基于文件的同步复制、基于对象的多站点分布都是有大量成功案例的方案,具体采用什么样的方案,需要根据具体的环境做相应的分析的选择。@zhangjunxi570  系统分析师:1、备份主流的备份厂商都提供了s3的接口可以直接从对象存储里备份数据。对象存储提供了足够的冗余性,同时配合同城容灾放在对象存储里的数据里的数据也可以免备份(监管要求监管要求备份数据一定要离线存放的另当别论),如果未来对象存储支持分层,提供类似amazon的glacier层冷数据层,也可以将超期的数据在对象存储内部迁移到冷数据冷数据介质层长期归档。2、高可用使用副本或者就删码技术。推荐就删码的技术,保证和传统raid一样的得盘率提高故障冗余的能力。3、容灾两站点双活,两站点单向复制,多站点全局就删。
  • [问题求助] 救急:想在obs保存照片,但是照片必须要加密,怎么让移动端直接访问这些照片?
    想在obs保存照片,但是照片必须要加密,怎么让移动端直接访问这些照片?
  • obs 下载问题,下载的文件名中包含文件的路径
    1、sdk版本:3.20.62、obs中目标文件的路径为obs://xx-file-storage/123/upload/abc.json3、使用sdk中的方法GetObjectRequest objectRequest = GetObjectRequest(); objectRequest.setBucketName(getBucketName()); objectRequest.setObjectKey(fileName); InputStream inputStream = .getObject(objectRequest).getObjectContent();4、报错:on Host 'xx-file-storage.obs.myhuaweicloud.com' @ 'Fri, 09 Apr 2021 06:35:16 GMT' -- ResponseCode: 404, ResponseStatus: Not Found, XML Error Message:com.obs.services.internal.ServiceException: Request Error.at com.obs.services.internal.RestStorageService.performRequest(RestStorageService.java:782)at com.obs.services.internal.RestStorageService.performRestGet(RestStorageService.java:982)at com.obs.services.internal.RestStorageService.performRestGet(RestStorageService.java:961)5、可能的原因是 原因目标文件名带了路径,并且请求方式为GET的原因。6、请问有什么方法可以解决吗?路径名不能省去!
  • [AI大赛] Fast-SCNN算法实战baseline
    本帖是对ModelArts AI Gallery图像分割-Fast-SCNN算法实战baseline,参赛者可参考本帖选择更多论文算法进行实战。1、准备工作1.1  创建OBS桶(如已有OBS桶可跳过此步骤,直接进入下一节)    1. 点击此处登录对象存储服务(OBS)管理控制台。    2. 单击页面右上方“创建桶”,在弹出的页面中选择区域(华北-北京四)、自定义桶名称。本baseline创建的桶名称为papers-baseline。    3. 单击“立即创建”,完成OBS桶的创建。1.2  完成ModelArts全局配置(如已完成ModelArts全局配置可跳过此步骤,直接进入下一节)    1. 点击此处登录ModelArts管理控制台。    2. 单击左侧菜单栏的“全局配置”,参考下图完成访问授权的配置。2、下载Fast-SCNN算法数据集2.1  点击此处进入数据集下载页面。2.2  单击页面右侧“下载”按钮,在下载详情页面选择对象存储服务(OBS)路径,新建文件夹等(参考下图)。2.3  单击“确定”,进入数据集下载状态。(下载约需要3分钟,可直接进入下一步操作)3、订阅Fast-SCNN算法3.1  点击此处进入算法订阅页面。3.2  单击页面右侧“订阅”,订阅之后单击“前往控制台”,选择“华北-北京四”,然后执行下一步第4节训练模型操作。4、训练模型4.1  等待订阅的算法“就绪”状态后,单击“创建训练作业”,如下图所示。4.2  在创建训练作业页面,自定义作业名称,选择“数据来源”、“训练输出”(在OBS桶下新建一个文件夹存储训练生成的模型文件)。4.3  按照下图设置“调优参数”,将红色框出的两个参数修改成5和2即可,其他默认参数即可。4.4  按照下图选择训练资源,然后单击“下一步”、“提交”进入模型训练。(训练约需要18分钟,等待训练完成后执行下一步操作)5、创建模型训练作业运行完成后,单击下图“创建模型”按钮进入导入模型页面,自定义模型名称后单击“立即创建”。模型创建需等待几分钟,创建完成后执行下一节操作。6、将模型发布至AI Gallery6.1  点击此处进入模型发布页面。(首次发布需完成入驻ModelArts AI Gallery操作)6.2  自定义标题(不能以纯数字串、纯拼音、纯英文命名,可包含算法名称、领域、应用场景等信息),选择上述创建完成的模型,单击“发布”。6.3  编辑副标题、上传封面图、添加标签、描述及限制后,点击所有“保存”按钮后即发布成功。(执行下一步操作)7、提交实战成果7.1  点击此处下载提交文档,按照文档要求填写算法实战成果。7.2  点击此处进入大赛平台“提交作品”页面,上传提交文档。(可以完成所有算法实战后,一次性提交实战成果)对以上内容有任何疑问,请在本帖回帖或扫描如下二维码回复“论文”加入交流群!
  • [迁移系列] Gauss DB(DWS) DWS与OBS数据互导
    一、从OBS上读数据并导入DWS进入OBS控制台,新建桶dws-test20210316及对象testobs1。上传txt数据文件到obs上。连接DWS集群建立内表table1,以及obs外表table1_inobs_ft。CREATE FOREIGN TABLE table1_inobs_ft(like  table1)SERVER gsmpp_server OPTIONS(LOCATION 'obs://dws-test20210316/testobs1/text1.txt',FORMAT 'text' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',ACCESS_KEY 'U76V66',SECRET_ACCESS_KEY 'qCJyo9B',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';注意:ACCESS_KEY,SECRET_ACCESS_KEY 是在“我的凭证”—“访问密钥”中下载。首次申请密钥后会提示下载。读取obs数据Select * from table1_inobs_ft;导入OBS数据到DWSinsert into table1 select * from table1_inobs_ft;二、DWS导出数据到OBS在桶dws-test20210316中新建对象output1,设置可读写。创建table1的obs导出外表CREATE FOREIGN TABLE table1_outobs_ft (like  table1)SERVER gsmpp_server OPTIONS(LOCATION 'obs://dws-test20210316/output1/',FORMAT 'text',ENCODING 'utf8', DELIMITER ',', ENCRYPT 'off',ACCESS_KEY 'U7DGJ6V66',SECRET_ACCESS_KEY 'qC9B') WRITE ONLY;导出数据到obsinsert into table1_outobs_ft select * from table1;建立外表读取上步骤导出的数据(LOCATION 中table1_outobs_ft表示所有以table1_outobs_ft开头的文件)CREATE FOREIGN TABLE table1_selobs_ft (like  table1) SERVER gsmpp_server  OPTIONS(LOCATION 'obs://dws-test20210316/output1/table1_outobs_ft',FORMAT 'text' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',ACCESS_KEY 'U7D66',SECRET_ACCESS_KEY 'qCJycqn0wo9B',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLY ;select * from table1_selobs_ft;