• [技术干货] 访问OBS链接提示告警信息
    原因因为部分用户使用OBS桶时上传了包含**、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。第三方平台在封禁此资源的同时,会将OBS域名列为不信任域名,导致其他合法使用OBS域名的用户也受到影响。解决方案需要通过第三方平台,如微信/支付宝/百度等平台或小程序使用OBS的用户,建议使用自定义域名访问OBS资源,避免封禁
  • [技术干货] OBS、EVS和SFS有什么区别
    对比维度对象存储服务云硬盘弹性文件服务概念提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。存储数据的逻辑存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。访问方式可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。只能在ECS/BMS中挂载使用,不能**作系统应用直接访问,需要格式化成文件系统进行访问。在云服务器中挂载使用。需要指定网络地址进行访问,也可以将网络地址变为本地目录后进行访问,使用的是NFS和CIFS的网络文件系统协议。使用场景如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。如高性能计算、企业核心集群应用、企业应用系统和开发测试等。说明:高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。如高性能计算、媒体处理、文件共享和内容管理和Web服务等。说明:高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。容量EB级别TB级别PB级别时延10ms1~2ms3~10msIOPS/TPS千万级单盘 33K单文件系统 10K带宽TB/s级别MB/s级别GB/s级别是否支持数据共享是是是是否支持远程访问是否是是否支持在线编辑否是是是否能单独使用是否是
  • [技术干货] 访问OBS域名失败,连接不上CA证书
    在证书不受信的情况下,访问OBS域名会失败,需要重新获取OBS证书并将其导入客户端信任库。获取OBS证书(以Chrome浏览器为例)。在浏览器中访问OBS域名:https://obs.myhuaweicloud.com。单击域名左侧的,选择“证书”。图1 导出证书单击“详细信息 > 复制到文件”,根据向导提示获取OBS证书(obs.cer)。将OBS证书导入客户端信任库。以Java运行环境为例,需要将证书导入cacerts内。下面示例中“d:\obs.cer”为证书在本地的存放路径。keytool -import -alias cacerts -keystore cacerts -file d:\obs.cer
  • [技术干货] 已删除的数据在OBS中是否会有残留?
    用户选择清除数据之后,系统会保证完全删除数据,不会留下残留信息,无需担心信息泄露
  • [开发应用] SQL on OBS
    【功能模块】  SQL on OBS 【操作步骤&问题现象】1、创建Obs server 过程中  region  、 address 、 secret_access_key  应该怎么填写2、哪里可以找到 相关的帮助手册【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] 简单易上手的自动学习小样例之找云宝
    使用自动学习实现物体检测应用针对业务开发者,ModelArts提供了自动学习功能,无需关注模型开发、参数调整等开发细节,仅需三步(数据标注、自动训练、部署上线),即可完成一个AI开发项目。这里提供了一个“找云宝”样例(“云宝”是华为云的吉祥物),帮助您快速熟悉ModelArts自动学习的使用过程。此样例为“物体检测”类别项目,通过预置的云宝图像数据集,自动训练并生成检测模型,同时将生成的模型部署为在线服务。部署完成后,用户可通过在线服务识别输入图片是否包含云宝。开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。使用自动学习功能完成模型构建的步骤如下所示:步骤1:准备数据步骤2:创建物体检测项目步骤3:数据标注步骤4:自动训练,生成模型步骤5:将模型部署上线为在线服务步骤6:测试服务准备工作已注册华为云帐号,且在使用ModelArts前检查帐号状态,帐号不能处于欠费或冻结状态。当前帐号已完成访问授权的配置。如未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必保证创建的OBS桶与ModelArts在同一区域。由于创建自动学习项目需要使用数据管理功能,在开始使用前,需为数据管理模块获取访问OBS权限。在ModelArts管理控制台,进入“数据管理 > 数据集”页面,单击“服务授权”,由具备授权的帐号“同意授权”后,即可正常使用。如果使用“帐号”登录,可直接在弹出对话框中同意授权。如果使用“IAM用户”(即子帐号)登录,需主帐号或具备Admin权限的用户进行授权操作。步骤1:准备数据ModelArts在公共OBS桶中提供了云宝的示例数据集,命名为“Yunbao-Data-Custom”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-modelarts/dataset-yunbao”。如果您想使用自己的数据集,可跳过此步骤,直接将数据上传至OBS文件夹中,并在步骤2:创建物体检测项目操作中直接选择此目录即可。单击数据集下载链接,将“Yunbao-Data-Custom”数据集下载至本地。在本地,将“Yunbao-Data-Custom.zip”压缩包解压。例如,解压至本地“Yunbao-Data-Custom”文件夹下。参考上传文件,使用批量上传方式将“Yunbao-Data-Custom”文件夹下的所有文件上传至“test-modelarts/dataset-yunbao”OBS路径下。获取的数据集分为2个子目录,分别为“eval”和“train”。“train”存储的数据用于模型训练,“eval”存储的数据可用于模型的预测。步骤2:创建物体检测项目在ModelArts管理控制台,单击左侧导航栏“自动学习”。在“物体检测”方框中单击“创建项目”,在“创建物体检测项目”页面中,填写“名称”、“数据集名称”,选择“数据集输入位置”,云宝数据集OBS路径为“/test-modelarts/dataset-yunbao/train/”。“数据集输出位置”选择一个空目录。注意:云宝数据集有“eval”和“train”两个目录,请选择“train”目录下的数据进行训练,如果选择“train”的上层目录,会提示“OBS存在非法数据的错误”,导致无法创建项目。3.单击“创建项目”,完成物体检测项目创建。项目创建成功后,页面自动跳转至“自动学习 > 数据标注”页面,并自动执行数据源同步操作步骤3:数据标注数据标注,针对物体检测项目,即在已有数据集图像中,标注出物体位置,并为其打上标签。标注好的数据用于模型训练。云宝数据集中,已标注部分数据,还有部分数据未标注,您可以选择未标注数据进行试用。自动学习项目创建时,会自动执行数据源同步操作。由于数据源同步需要一定时间,如果出现同步失败,可单击“同步数据源”手动执行。在“自动学习 > 数据标注”页面单击“未标注”页签,此页面展示所有未标注的图片数据。单击任意一张图片,进入图片标注界面。用鼠标框选图片中的云宝所在区域,然后在弹出的对话框中输入标签名称,例如此示例中的“yunbao”,按“Enter”键完成此图片的添加。标注完成后,左侧图片目录中此图片的状态将显示为“已标注”。您可以在下方图片目录中,选择其他图片,重复上述操作继续进行图片标注。如果一张图片有多个云宝,您可以标注多处。建议将数据集中所有图片都标注完成,这样能得到一个效果比较好的模型。3.当图片目录中所有图片都完成标注后,单击左上角“项目名称”,在弹出的对话框中单击“确定”保存标注信息,页面进入数据标注页面。您可以在“已标注”页签下查看已完成标注的图片,并通过右侧的标签信息,了解当前已完成的标签名称和标签数量。步骤4:自动训练,生成模型完成数据标注后,在“数据标注”页面,单击右上角的“开始训练”,然后在弹出的“训练设置”对话框中配置相关参数,参考下面的图填写相关参数。2.单击“下一步”进入配置页,确认规格后单击“提交”开始模型的自动训练。训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。训练完成后,您可以在界面中查看训练详情,如“准确率”、“评估结果”、“训练参数”、“分类统计表”等。步骤5:将模型部署上线为在线服务在“模型训练”页签中,待训练状态变为“已完成”,单击“版本管理”区域中的“部署”。2.在弹出的部署设置对话框中,选择“计算节点规格”,设置“自动停止”功能,单击“确定”开始将物体检测模型部署上线为在线服务。如果选择免费规格,则不需要设置“自动停止”功能,1小时之后自动停止。3.启动部署上线后,系统自动跳转至部署上线页面。此页面将呈现模型部署上线的进度和状态。部署上线将耗费较多时间,请您耐心等待。部署完成后,版本管理区域的状态将变更为“运行中”。步骤6:测试服务模型部署完成后,您可添加图片进行测试。在“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域单击“上传”。2.从本地环境选择一张图片,此图片中包含云宝。然后单击“预测”进行测试。预测完成后,右侧“预测结果”区域输出标签名称“yunbao”,以及位置坐标和检测的评分。预测结果中,“detection_boxes”表示物体所在位置坐标,“detection_scores”表示检测评分,表示坐标内图像是云宝的概览评分。如模型准确率不满足预期,可在“数据标注”步骤中添加图片并进行标注,重新进行模型训练及部署上线。切记:由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此云宝检测的服务,可单击“启用”恢复。
  • [交流分享] 5G + X -> 云VR解决方案落地:华为VR云渲游平台
    VR云渲游平台是华为云推出的云VR全栈连接+管理平台,可以帮助传统PC VR业务快速上云,扩展及更好的维护。下文是官方对于平台的介绍:VR云渲游平台(VR Cloud Rendering & Gaming Platform, CVR),基于华为云基础设施多元架构、极致性能、端边云融合等优势,依托华为在处理器、GPU等领域多年技术积累,针对强交互类VR场景,面向教育培训、文化旅游、医疗健康、工业制造、游戏娱乐等行业,使用云渲染流化技术实现VR内容云上实时渲染、编码、推流并提供端侧接入SDK。平台具备对GPU加速型云服务器、连接设备、应用等进行统一管理及细粒度业务监控,具有降低消费成本,提升用户体验,普及商业场景和保护内容版权等显著优势。整个平台体验还是很Nice的,尤其是云VR体验竟然真的和本地体验无明显区别,而且得益于无线广域网连接,场景和自由性都进一步提升。但是在部署的过程中,还是有几个步骤需要花点时间,于是业务本帖整理了个人在使用平台中遇到问题的解决方法与平台小Tips,供大家参考:1. 制作第三方VR运行环境安装包:该步骤出现在涉及“创建云服务器以及纳管云服务器“等平台操作步骤,在执行这些操作时,高级配置中需用户选择插件。平台本身提供了华为自研的VR Linker,可兼容主流第三方运行时(如SteamVR),大家在使用时如果VR应用不强绑定于SteamVR建议使用VR Linker。如果选择该插件,则无需后续步骤,平台会自行下载VR Linker并完成部署。但本人在测试时体验的应用是Alyx(半条命),Alyx作为V社自研的3A大作,部分接口是OpenVR隐藏接口,没有暴露给外部,所以只能在SteamVR环境下运行,此时需要选择”第三方“,平台会提示让用户自行输出如”第三方插件地址“,这个地址就是要输入用户的VR运行时的下载地址。SteamVR官网提供了SteamVR安装包的制作方式,我按照步骤完成了制作并成功在华为云VR云渲游平台部署,下面是整体步骤。一、制作SteamVR安装包1.1 安装Steam客户端至PC并打开Steam下载地址:https://store.steampowered.com/1.2 安装SteamVR-         在 Steam 客户端中,打开库一栏,在搜索框中输入“steamVR”-         找到“SteamVR”条目并安装。1.3 精简SteamVR文件由于SteamVR大小约6GB,建议删除非必须组件和素材方便后续上传OBS以及在GPU服务器部署,精简后的SteamVR大小约400MB。-         右键单击“SteamVR”条目,在弹出菜单中点击“属性”条目。一个含有多个选项卡的窗口会打开。选择“本地文件”选项卡,单击标有“浏览本地文件”的按钮。-         含有 SteamVR 运行时的目录即会打开。目录文件如下图所示-         删除如下非必须文件,主要集中在Tools文件夹内,具体包含l  steamvr_desktop_game_theaterl  steamvr_environmentsl  steamvr_media_playerl  steamvr_tutoriall  steamvr_room_setup1.4 添加SteamVR配置文件- 下载chaperone_info.vrchap文件设置VR画面默认高度和活动区域,下载地址:https://vrsettings.obs.cn-east-3.myhuaweicloud.com/chaperone_info.vrchap-         下载steamvr.vrsettings文件完成SteamVR其他配置,下载地址:https://vrsettings.obs.cn-east-3.myhuaweicloud.com/steamvr.vrsettings-         将上述两个文件放置于在SteamVR\bin文件夹同级目录1.5 压缩SteamVR安装包-         下载压缩工具,如Winrar软件(已有可跳过)-         右键SteamVR文件夹,选择添加到压缩文件,压缩格式选择zip,如下图所示:至此,SteamVR安装包已制作完成。二、上传SteamVR安装包至OBS对象存储服务在VR云渲游平台文档快速入门板块中,步骤二“VR内容上云”向您详细说明了如何使用OBS对象存储服务存储VR应用。现在,请您参考之前OBS使用方法,按照如下步骤使用OBS存储SteamVR.zip安装包:-         创建新的OBS桶用于存储SteamVR.zip,该OBS桶权限需要设置为公共读-         使用OBS Browser或者Console界面将SteamVR.zip上传至OBS桶中进行存储-         点击SteamVR对象,进入详情页,复制链接以获取SteamVR下载地址三、完成购买云服务器配置3.1 选择插件类型插件类型选择第三方,此时下方会弹出第三方插件地址输入框3.2   输入第三方插件地址在地址框输入步骤二执行完成后获取的SteamVR.zip下载地址3.3   查看自动化脚本完成其余配置后,点击“查看自动化脚本”,检查SteamVR下载地址信息无误结束完成上述配置后,当GPU服务器启动,平台就会自动从我提供的SteamVR安装包下载地址获取对应文件,完成第三方VR运行插件的安装工作。SteamVR 现在应当可以在GPU服务器上运行,并支持任何使用 Open SDK、SteamVR Unity 插件或 Unreal Engine 内 VR 工具创建的应用程序。
  • [产品介绍] OBS特性指南(二)并行文件系统
    简介并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客户端(obsfs工具),按照POSIX文件语义读写数据;通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理,包括:创建、删除文件/目录,重命名文件/目录,修改写文件等操作。
  • [产品介绍] OBS特性指南(一)图片处理
    简介图片处理特性(Image Processing)是对象存储服务(Object Storage Service,OBS)为用户提供稳定、安全、高效、易用、低成本的图片处理服务,包括:图片瘦身、图片剪切、图片缩放、图片水印、格式转换等。图片处理特性提供OBS管理控制台和RESTful API接口的使用方法,使用户可以在任何时间和地点对存储在对象存储中的图片进行处理,并且可以快速获取到处理后的图片。
  • [产品介绍] OBS使用方式介绍
    可以通过以下方式对OBS资源进行管理。工具描述使用方式参考文档管理控制台管理控制台是网页形式的。通过管理控制台,您可以使用直观的界面进行相应的操作。使用网页访问云服务控制台,通过账号名&密码或IAM的账号名&用户名&密码登录认证身份,即可访问OBS的全部资源。详情请参见登录OBS管理控制台。控制台指南SDKSDK是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用OBS业务能力的目的。环境准备时配置终端节点,并在初始化阶段设置访问密钥(AK/SK)。详情请参见SDK参考。SDK参考APIOBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,实现创建、修改、删除桶,上传、下载、删除对象等操作。环境准备时配置终端节点,计算签名时添加访问密钥(AK/SK)到请求中。若您使用REST API自行开发程序,则需按照OBS定义的签名算法来计算签名并添加到请求中。详情请参见用户签名验证。API参考OBS Browser+OBS Browser+是一款运行在Windows系统上的对象存储服务管理工具,OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理。下载OBS Browser+工具,通过访问密钥(AK/SK)进行身份鉴权。OBS Browser+支持直接访问OBS,也支持通过配置服务器地址方式访问。OBS Browser+的AK、SK和终端节点的配置详情请参见新建账号。OBS Browser+工具指南obsutilobsutil是一款用于访问管理OBS的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的最佳选择。下载obsutil工具,配置服务器地址,通过访问密钥(AK/SK)进行身份鉴权。obsutil的AK、SK和终端节点的配置详情请参见初始化配置。obsutil工具指南obsftpobsftp工具利用pyftpdlib库的FTP server能力和对象存储云端存储能力,提供出具有FTP接入的云上存储使用能力。在企业实际业务中,无需单独搭建FTP服务器和存储池,实现业务和运维的轻量化,极大降低了原有的FTP访问方式的技术成本。下载obsftp工具,配置服务器地址,通过访问密钥(AK/SK)进行身份鉴权,即可访问OBS。obsftp的AK、SK和终端节点的配置,Windows系统请参见Windows,Linux/Unix系统请参见Linux/Unix。obsftp工具指南obsfsobsfs是OBS提供的一款基于FUSE的文件系统工具,主要用于将并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。下载obsfs工具,通过访问密钥(AK/SK)进行身份鉴权。obsfs的AK、SK的配置详情请参见初始化配置。obsfs工具指南
  • [教程] 初学者使用预置算法构建模型初体验
            针对有一定AI基础的AI初学者,ModelArts基于业界的主流引擎提供了预置算法,无需关注模型开发过程,直接使用预置算法对已有数据进行训练,并快速部署为服务。预置算法可用于物体类别和位置、图像分类等场景。        本次实验提供了一个花卉图像分类应用的样例,帮助您快速熟悉使用ModelArts预置算法构建模型的过程。此样例针对预置的花卉图像数据集,对已有图像数据进行标注,然后使用预置的“ResNet_v1_50”算法对数据进行训练,得到一个可用的模型,最后,将此模型部署为在线服务。部署完成后,用户可通过在线服务识别输入图片的花卉种类。使用预置算法完成模型构建的步骤如下所示:步骤1:准备数据步骤2:训练模型步骤3:(可选)创建可视化作业,查看模型训练过程步骤4:导入模型步骤5:部署上线步骤6:测试服务步骤7:清除相应资源,避免产生费用准备工作已注册华为云账号,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。当前账号已完成访问授权的配置。如未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。已在OBS服务中创建桶和文件夹,用于存放样例数据集以及模型。如下示例中,请创建命名为“test-modelarts”的桶,并创建如表1所示的文件夹。创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。确保您使用的OBS目录与ModelArts在同一区域。文件夹名称用途“dataset-flowers”用于存储数据集。“model-test”用于存储训练输出的模型和预测文件。“train-log”用于存储训练作业的日志。步骤1:准备数据        ModelArts在公共OBS桶中提供了花卉的示例数据集,命名为“Flowers-Data-Set”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-modelarts/dataset-flowers”。说明:由于“Flowers-Data-Set”数据集已完成数据标注,数据集中文件格式为“.txt”是对应图片的标注文件,因此在此操作步骤中忽略了数据标注操作。如果您想使用自己的数据集,可跳过此步骤,直接将数据上传至OBS文件夹中,并在步骤2:训练模型操作中直接选择此目录即可。如果您使用的数据集未进行标注,在创建训练作业前请在“数据管理>数据集”页面创建数据集并进行人工标注。单击数据集下载链接,将“Flowers-Data-Set”数据集下载至本地。在本地,将“Flowers-Data-Set.zip”压缩包解压。例如,解压至本地“Flowers-Data-Set”文件夹下。参考上传文件,使用批量上传方式将“Flowers-Data-Set”文件夹下的所有文件上传至“test-modelarts/dataset-flowers”OBS路径下。步骤2:训练模型数据准备完成后,您可以创建一个训练作业,选用预置算法“ResNet_v1_50”,并最终生成一个可用的模型。“ResNet_v1_50”算法基于“TensorFlow, TF-1.8.0-python2.7”引擎,其用途为图像分类。如果您想获取更多预置算法的介绍,您可以在“训练作业”页面中,单击“预置算法”页签,了解ModelArts提供的算法信息,如用途、引擎类型、精度等。在ModelArts管理控制台,在左侧导航栏中选择“训练管理>训练作业”,进入“训练作业”管理页面。单击“创建”,进入“创建训练作业”页面。在“创建训练作业”页面,填写相关信息,参数填写指导请参见如下步骤。“算法来源”:单击“选择”,从“预置算法”列表中,选择“ResNet_v1_50”算法。“数据来源”:由于导入的数据集已完成标注,因此直接从数据存储位置导入即可。单击“数据存储位置”,然后单击文本框右侧的“选择”,选择数据集所在的OBS路径,如“/test-modelarts/dataset-flowers/”。“训练输出位置”:从已有的OBS桶中选择模型和预测文件存储路径。使用准备工作中已创建好的“model-test”文件夹。如果没有可用文件夹,您可以单击“选择”,在弹出对话框中新建文件夹。“运行参数”:选择“ResNet_v1_50”算法后,默认包含“max_epoches”参数,默认值为“100”。针对此示例,建议将“max_epoches”参数值修改为“10”,1个epoch代表整个数据集训练一遍,此运行参数表示训练10个epoch,“max_epoches”值越大训练时间越长。“作业日志路径”:从已有的OBS桶中选择日志存储路径。使用准备工作中已创建好的“train-log”文件夹。如果没有可用文件夹,您可以单击“选择”,在弹出对话框中新建文件夹。在基本信息区域,“计费模式”和“版本”为系统自动生成,不需修改。请根据界面提示填写“名称”和“描述”。图1 填写名称和描述在参数配置区域,选择“算法来源”,设置“数据来源”、“训练输出位置”、“运行参数”和“作业日志路径”。图2 参数配置在资源设置区域,选择“公共资源池”,同时设置“规格”和“计算节点个数”。如果选择使用免费规格,请仔细阅读提示信息,然后勾选“我已阅读并同意以上内容”。图3 设置使用的资源单击“下一步”完成信息填写。在“规格确认”页面,确认训练作业的参数信息,确认无误后单击“提交”。在“训练作业”管理页面,可以查看新建训练作业的状态。训练作业的创建和运行需要一些时间,预计十几分钟,当状态变更为“运行成功”时,表示训练作业创建完成。您可以单击训练作业的名称,可进入此作业详情页面,了解训练作业的“配置信息”、“日志”和“资源占用情况”等信息。在“训练输出位置”所在的OBS路径中,即“/test-modelarts/model-test/”路径,可以获取到生成的模型文件。图4 训练作业详情步骤3:(可选)创建可视化作业,查看模型训练过程目前ModelArts提供的可视化作业默认为TensorBoard类型的作业。TensorBoard是一个可视化工具,能够有效地展示TensorFlow或MXNet在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。可视化作业当前只支持基于TensorFlow和MXNet引擎的训练作业。如果训练详情页的详细信息已足够支撑您判断模型好坏并构建模型,您可以选择跳过此步骤,直接执行步骤4:导入模型的操作。在ModelArts管理控制台,在左侧导航栏中选择“训练管理 > 训练作业”,然后单击“可视化作业”页签进入“可视化作业”管理页面。在“可视化作业”管理页面,单击“创建”。在“创建可视化作业”页面,设置相关参数,然后单击“下一步”。可视化作业的类型默认为“可视化作业”,且不可更改。设置可视化作业的“名称”,以及“训练输出位置”。“训练输出位置”需要设置为训练作业中的“训练输出位置”,上述步骤中“训练输出位置”为“/test-modelarts/model-test/”。“自动停止”启用,并设置为“1小时后”停止,避免产生不必要的费用。图5 设置可视化作业参数信息在“规格确认”页面,信息确认完毕后,单击“提交”。进入“可视化作业”管理页面,等待一段时间,当可视化作业的状态为“运行中”时,表示已创建成功。针对运行中的可视化作业,您可以单击可视化作业的名称跳转到其可视化界面。您可以通过此界面的信息,了解到此模型的具体训练过程。如果此模型训练过程和参数满足要求,您可以开始执行步骤4:导入模型操作。图6 可视化界面步骤4:导入模型训练完成的模型还是存储在OBS路径中,您可以将此模型导入到ModelArts中进行管理和部署。在ModelArts管理控制台中,单击左侧导航栏中的“模型管理>模型”,进入“模型”页面。在“模型”页面,单击“导入”。在“导入模型”页面,设置相关参数,然后单击“立即创建”。设置模型的“名称”和“版本”,然后在“元模型来源”参数中,选择“从训练中选择”,此时系统会自动选择您创建的训练作业,您可以从下拉框中可以选择系统中可用的训练作业。由于本示例数据较简单,其他参数采用默认值。图7 导入模型模型导入完成后,系统将自动跳转至模型列表页面。您可以在模型列表页面查看已导入的模型及其版本。图8 模型列表步骤5:部署上线模型导入完成后,当状态显示为“正常”时,可以将模型部署上线,可部署为“在线服务”、“批量服务”或“边缘服务”。如下操作步骤以部署为在线服务为例。在“模型管理 > 模型”页面,单击模型名称左侧的小三角,打开此模型下的所有版本。在对应版本所在行,单击操作列的“部署”,然后在下拉框中选择“在线服务”,进入“部署”页面。在“部署”页面中,设置相关参数,然后单击“下一步”。设置在线服务的“名称”,将“是否自动停止”功能启用。在“选择模型及配置”区域中,系统将自动选择步骤4:导入模型中的模型及其版本,在“计算节点规格”右侧下拉框中选择使用的资源,本示例选用“CPU:2核 8GiB”资源部署在线服务。其他参数使用默认值。“数据采集”和“难例筛选”功能,建议使用默认值,保持关闭。图9 部署为在线服务在“规格确认”页面,确认信息完毕后,单击“提交”。在“部署上线 > 在线服务”页面,您可以查看在线服务的相关信息。由于模型部署上线需要花费一些时间,请耐心等待几分钟。当在线服务的状态为“运行中”时,表示在线服务已部署完成。步骤6:测试服务在线服务部署成功后,您可以进入在线服务,发起预测请求进行测试。在“在线服务”管理页面,单击在线服务名称,进入在线服务详情页面。在线服务详情页面中,单击“预测”页签,进入预测页面。在“选择预测图片文件”右侧,单击“上传”按钮,上传一张带花的图片,然后单击“预测”。预测完成后,预测结果显示区域将展示预测结果,根据预测结果得分,可识别出此图片的花为“daisy”。说明:由于此处是测试服务,为保证测试效果,建议选择图片时,不要使用示例数据集中已有的图片。图10 预测结果步骤7:清除相应资源,避免产生费用为避免产生不必要的费用,在完成试用后,建议您删除相关资源,如在线服务、可视化作业、训练作业、数据及其OBS目录。删除在线服务:在“在线服务”页面,单击操作列的“更多>删除”。删除可视化作业:在“训练作业>可视化作业”页面,单击操作列的“删除”。删除训练作业:在“训练作业”页面,单击操作列的“删除”。删除数据:前往OBS,删除上传的数据,然后删除文件夹及OBS桶。
  • [训练管理] 【创建训练作业】【数据来源】无法使用外部共享的OBS桶路径作为数据位置
    【功能模块】创建训练作业 - 数据来源 【操作步骤&问题现象】1、配置数据来源,需要选择数据存储位置2、OBS桶列表里看不到非owner的共享桶(已和OBS支持确认的确是看不到)3、共享桶只能通过直接输入路径访问或外挂桶模式出现在列表中4、但是目前没有提供上述功能,无法自行输入路径;5、因此造成跨用户(企业主账号共享给关联员工账号的,非IAM账号)无法共享训练素材;6、除了再自己建桶上传一次,是否还有其他方法?【截图信息】【日志信息】暂无
  • [产品介绍] 对象存储服务OBS提供的常用功能特性
    功能名称功能描述发布区域OBS 2.0支持OBS 3.0支持存储类别OBS提供了标准存储、低频访问存储、归档存储、深度归档存储(受限公测中)四种存储类别,满足不同场景下客户对存储性能和成本的不同诉求。全部√√桶管理桶是OBS中存储对象的容器。OBS提供创建、列举、搜索、查看、删除等基本功能,帮助您便捷的进行桶管理。全部√√对象管理对象是OBS中数据存储的基本单位。OBS提供上传、下载、列举、搜索、分享、断点续传、多段操作等基本功能,满足您各个场景的对象管理需求。全部√√权限管理OBS通过IAM权限、桶/对象策略和ACL三种方式配合进行权限管理。您可以通过IAM自定义策略授予IAM用户细粒度的OBS权限,也可以对桶和对象设置不同的策略及ACL来控制桶和对象的读写权限。全部√√服务端加密您可以将数据加密后存储到OBS中,提高数据的安全性。OBS提供SSE-KMS和SSE-C两种服务端加密方式。除亚太-曼谷、亚太-新加坡、拉美-圣地亚哥以外的所有区域均已发布√√生命周期管理您可以通过生命周期规则来管理对象的生命周期,例如定期将桶中的对象删除或者转换对象的存储类别。全部√√静态网站托管您可以将静态网站文件上传至OBS桶中,并对这些文件赋予匿名用户可读权限,然后将该桶配置成静态网站托管模式,以实现在OBS上托管静态网站。全部√√跨域资源共享跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。全部√√防盗链为了防止用户在OBS的数据被其他人盗链,OBS支持基于HTTP Header中表头字段Referer的防盗链方法,同时支持访问白名单和访问黑名单的设置。全部√√事件通知您可以设置在桶中发生某些特定事件时收到消息通知服务(SMN)发送的通知,以便及时掌握桶中数据的最新动态。全部√√桶标签桶标签用于标识OBS中的桶,以此来达到对OBS中的桶进行分类的目的。当为桶添加标签时,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。全部√√自定义域名您可以将自定义域名绑定到OBS桶,然后使用自定义域名访问桶中的数据。例如,您需要将网站中的文件迁移到OBS,并且不想修改网页的代码,即保持网站的链接不变,此时可以使用自定义域名绑定功能。除亚太 (香港)、亚太-曼谷、亚太-新加坡、非洲-约翰内斯堡以外的所有区域均已发布×√跨区域复制您可以创建跨区域复制规则,将您账号下一个桶(源桶)中的数据自动、异步地复制到不同区域的另外一个桶(目标桶)中。跨区域复制能够为用户提供跨区域数据容灾的能力,满足用户数据复制到异地进行备份的需求。全部×√图片处理您可以使用图片处理功能对存放在OBS中的图片进行瘦身、剪切、缩放、增加水印、转换格式等操作,并且可以快速获取到处理后的图片。除亚太-香港、非洲-约翰内斯堡、拉美-圣地亚哥以外的所有区域均已发布×√桶清单你可以配置一个清单规则,定期扫描桶中指定的对象或拥有相同前缀的对象,生成这些对象的元数据内容,如对象大小、修改时间、存储类别等,并以CSV格式保存到指定的桶中。全部×√并行文件系统并行文件系统(Parallel File System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也可以利用obsfs工具将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。除西南-贵阳一、非洲-约翰内斯堡、拉美-圣地亚哥以外的所有区域均已发布×√日志管理您可以通过日志管理功能获取桶的访问数据。开启日志管理功能后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件保存在目标桶中,您可以基于日志文件进行请求分析或日志审计。全部√√多版本控制您可以在一个桶中保留多个版本的对象,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。全部√√追加写对象您可以通过AppendObject接口在指定桶内的一个Appendable对象尾追加上传数据。通过AppendObject创建的对象为Appendable对象,通过PutObject创建的对象是Normal对象。全部×√自定义元数据您可以添加、修改或删除桶中已上传对象的元数据。全部√√桶配额您可以设置桶空间配额,用以限制单个桶可存储的最大数据量,最大可设置为263-1,单位Byte(字节)。新创建的桶默认不限制配额。全部√√归档数据直读您可以开启桶归档数据直读,实现存储类别为归档存储的对象可以直接下载,无需提前恢复。归档数据直读会收取相应的费用。华北-北京一、华北-北京四、华东-上海一、华东-上海二、西南-贵阳一、华南-广州×√对象分享您可以将存放在OBS中的文件或文件夹以临时URL的形式分享给所有用户。分享强调临时性,所有分享的URL都是临时URL,存在有效期。除拉美-圣地亚哥以外的所有区域均已发布√√碎片管理您可以通过桶的碎片管理功能,对多段上传时某些特殊情况下产生的碎片进行清理,以节省存储空间。全部√√企业项目您可以在创建桶时指定桶所属的企业项目,更方便的进行桶资源和权限管理。除亚太-香港、亚太-曼谷、非洲-约翰内斯堡、拉美-圣地亚哥以外的所有区域均已发布×√桶加密您可以为桶配置默认加密,配置后,上传到桶中的对象都会自动进行加密。华北-北京一、华东-上海一、华东-上海二、华南-广州、华北-北京四、非洲-约翰内斯堡、亚太-新加坡×√多AZ您可以在创桶的时候选择将桶中数据冗余存储在多个可用区,以获得更高的数据可靠性。OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。华北-北京四、华东-上海一、华东-上海二、西南-贵阳一、亚太-新加坡×√数据回源(公测)您可以利用数据回源功能,实现向OBS请求数据不存在时,通过回源规则自动从源站获取对应数据。回源方式支持镜像回源和重定向回源。公测中×√Data+(公测)Data+是OBS提供的一项数据处理服务,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。公测中×√委托您可以通过IAM委托其他云服务或华为云账号管理您的OBS资源。全部×√监控您可以通过OBS控制台或者云监控服务(Cloud Eye)控制台监控桶的流量统计和请求次数等指标,方便您及时了解目前资源的使用状况、并合理规划使用计划。全部√√审计您可以通过云审计服务(CTS)对OBS中桶和对象的各类事件操作记录进行收集、存储和查询,用于安全分析、合规审计、资源跟踪和问题定位等。全部√√工具OBS提供OBS Browser+、obsutil、obsfs、obsftp等多种实用工具,满足不同场景下数据迁移和数据管理需求。全部√√APIOBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,实现创建、修改、删除桶,上传、下载、删除对象等操作。全部√√SDKOBS提供多种开发语言的SDK,帮助您轻松实现二次开发。目前支持:Java、Python、C、Go、BrowserJS、.NET、Android、IOS、PHP、Node.js全部√√
  • [产品介绍] obsutil简介
    obsutil是一款用于访问管理华为云对象存储服务(Object Storage Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如下所示。
  • [产品介绍] OBS Browser+简介
    OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。