• [技术干货] 如何在华为云EI服务中使用开放数据集
    如何在华为云上使用开放数据集呢?下面我们以开源镜像数据集镜像为例进行介绍。如下图所示每个数据集都有对应的资源地址,代表数据集的存储位置,本案例中的资源地址就是s3a://opendata-bucket/mirrors-download-public;数据集详细描述中有相应的数据集文件存储格式和字段描述,如开源镜像数据集的存储格式为CSV类;有time_stamp、http_user_agent、request_method、request_url、status5个字段。有了这些信息,接下来就是如何使用数据集了。如要在数据湖探索DLI中使用该数据集,可以通过创建外部表的方式: ```sql create table mirror_dataset( time_stamp timestamp comment '时间戳', http_user_agent string comment '用户浏览器标识', request_method string comment '请求方法', request_url string comment '请求路径', status int comment '请求状态码' ) USING CSV OPTIONS(path='s3a://opendata-bucket/mirrors-download-public', delimiter=',', multiLevelDirEnable=true); ``` 创建了`mirror_dataset`表后,便可以在DLI中使用该数据集了,如查看数据:select * from mirror_dataset limit 5 结果如下:同理,如果要在其他EI服务中使用开放数据集,只需像在DLI中使用开放数据集一样,将OBS桶地址指向开放数据集资源地址即可。如果在其他EI服务中使用开放数据集,遇到数据集无法访问或访问出错等问题,建议将开放数据集复制到自己的OBS,具体做法如下:1、在DLI中创建外部表,指向开放数据集资源地址create table mirror_dataset_tmp( time_stamp timestamp comment '时间戳', http_user_agent string comment '用户浏览器标识', request_method string comment '请求方法', request_url string comment '请求路径', status int comment '请求状态码' ) USING CSV OPTIONS(path='s3a://opendata-bucket/mirrors-download-public', delimiter=',', multiLevelDirEnable=true); 2、在自己的OBS桶中创建新的文件夹,在DLI中创建外部表,指向自己的OBS桶文件夹create table mirror_dataset( time_stamp timestamp comment '时间戳', http_user_agent string comment '用户浏览器标识', request_method string comment '请求方法', request_url string comment '请求路径', status int comment '请求状态码' ) USING CSV OPTIONS(path='s3a://{你的OBS桶}/{新创建文件夹}', delimiter=',', multiLevelDirEnable=true); 3、将表1的数据复制到表2中insert into mirror_dataset select * from mirror_dataset_tmp4、删除表1至此,数据集便复制到你自己的OBS中,可以自由的使用了。
  • [教程] 欢迎进入云小课系列教程学习了解对象存储服务OBS产品知识
    【OBS相关课程】【第二十三课】搬迁本地数据至OBS,多种方式任你选【第二十八课】迁移第三方云厂商数据至OBS,两种方式任你选【第二十九课】OBS提供多方面数据安全保障,让存储放心、贴心、省心【第三十五课】华为云基础服务工单热点问题-存储篇
  • [视频点播] 【小肆说视】2019年第14期 视频解说OBS音视频托管
    若您已有大量的音视频存储在OBS桶中,不想进行音视频迁移,但又想使用点播的功能进行音视频处理,怎么?点播服务提供了OBS音视频托管功能,允许源文件仍存储在OBS桶中,且处理后的生成的相关媒资文件也允许存储到OBS桶中。如何进行OBS音视频托管呢?且看视频解说->更多指导请参见视频点播帮助中心:https://support.huaweicloud.com/usermanual-vod/vod010035.html【小肆说视】上期回顾2019年第1期 Demo APP带你体验视频云服务2019年第2期 视频解说转码模板配置 2019年第3期 视频解说上传视频2019年第4期 视频解说Referer防盗链配置2019年第5期 视频解说Key防盗链配置2019年第6期 视频解说**速提交转码任务2019年第7期 视频解说视频剪辑2019年第8期 视频解说音视频审核2019年第9期 视频解说直播消息订阅2019年第10期 视频解说直播录制2019年第11期 视频解说直播转码2019年第12期 视频解说直播截图配置2019年第13期 视频解说直播域名配置【小肆说视】下期预告2019年第15期 视频解说点播工作流
  • [技术干货] 教程:添加OBS存储到官方docker registry,实现采用OBS对象存储服务作为registry存储后端。
        技术背景    Docker作为一种热门的虚拟化技术,当前被广泛应用于各领域之中。在Docker中,主要包含三个概念,分别是镜像(Image)、容器(Container)及仓库(Repository),其中镜像是Docker中的核心部分。Docker镜像是一种特殊的文件系统,其提供了容器运行时所需要的程序、库、资源、配置等文件。镜像构建完成后即可在对应的宿主机上执行。但当需要将镜像提供给其他用户在其他服务器上使用时,就需要一种镜像分发服务,当前官方Docker Registry即可以提供该种服务。在使用Docker registry服务时可以指定对应的后端存储类型以存储镜像等文件,但当前Docker registry后端存储类型中暂不支持采用华为云对象存储(OBS)服务,由此给希望采用OBS服务作为存储后端的用户带来了不便。针对该问题,利用Docker官方提供的Docker registry开源代码,我们实现了可支持OBS存储的registry服务。    github地址    该registry基于Docker registry1.7.1版本开发,源代码地址为:https://github.com/redabc/distribution.git。    使用方法    1. 安装依赖组件Docker、docker-compose;    2. 从上述地址获取registry代码:git clone https://github.com/redabc/distribution.git;    3. 进入distribution目录,执行编译命令:docker build . -t "obs/registry-photon:v1.7.1",红色部分表示registry库编译后的镜像名称,可以自行指定为自定义的镜像名称。    4. 执行docker run命令,创建并运行步骤3中编译得到的镜像。对应命令:docker run -d -p 5000:5000 --name registry obs/registry-photon:v1.7.1。红色部分为步骤3中编译registry镜像时指定的镜像名称。    5. 执行步骤4后即可采用新的编译后的registry服务。但是由于Docker registry默认情况下采用的是filesystem存储后端,即将镜像等文件存储在本地指定路径下,因此如需采用OBS存储后端时,还需要额外修改registry的配置文件。        5.1 默认的registry配置文件路径为/etc/docker/registry/config.yml,该文件路径对应存在于步骤4中运行的registry容器中。为了指定采用OBS存储后端,需要先将该文件拷贝至宿主机环境,执行拷贝命令: docker cp contain_id:/etc/docker/registry/config.yml  config.yml,其中contain_id为步骤4中运行的容器对应的ID,可以通过docker ps命令查询。执行该条命令会将config文件拷贝至宿主机当前命令路径下。        5.2 修改宿主机目录中的config.yml文件,在config.yml文件中的storage字段中添加obs为后端存储,同时删除filesystem字段。    6. 执行docker stop registry 命令停止步骤4中运行的容器,红色部分表示步骤4中命令指定的容器名,可以通过docker ps命令查询。停止后删除该容器。    7. 执行命令:docker run -d -p 5000:5000 -v  `pwd`/config.yml:/etc/docker/registry/config.yml --name registry obs/registry-photon:v1.7.1重新创建并运行。其中红色部分表示利用宿主机上指定路径下的config.yml配置文件运行容器,此时即可根据步骤5中修改的config.yml文件采用obs服务作为存储后端。2019/11/29更新:    1. 考虑到部分用户在使用OBS作为docker registry存储后端时,对应用户无创建桶的权限,只有与上传及下载相关的操作权限,该情况下用户将无法启动该registry服务。针对这一情况,当前代码中去掉了创桶操作。为保证功能的正常使用,目前需要提前创建要使用的OBS桶,或传入已存在的桶名。
  • [互动交流] obs上对象临时URL访问跨域问题
    请问一下临时url的跨域问题怎么解决,obs桶设置了allowedOrigin允许所有域名访问,用上传对象时返回的url是可以访问的,但是生成了临时url后用临时的url访问就报错了: Access to fetch at 'https://我生成的临时url路径' from origin 'null' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource. If an opaque response serves your needs, set the request's mode to 'no-cors' to fetch the resource with CORS disabled. 我访问的方式是在js里面用方法去下载这个路径对应的图片,有没有大神给点建议!!!
  • [分享交流] .Net OBS 表单上传问题
    请问目前 CreatePostSingature 这个方法实现了吗?调用的时候返回的该方法为实现?如果没有实现有什么可以替代的方案吗?我需要获取权限,在前端上传文件
  • [技术干货] curl鉴权OBS一直失败
    一直报错:The request signature we calculated does not match the signature you provided. Check your key and signing method.
  • [产品体验官] 华为云GES图引擎服务体验及评测报告-沐晓
    体验版本:GES2.1.9各位大佬,首先很荣幸参加了这次华为云GES图引擎服务体验活动,由于之前并没有接触过图引擎相关的内容,所以对于这方面属于小白,但是通过本次的体验活动增加了自己对图引擎方面的了解,也希望自己的一些体验感受能够带给大家一些帮助。通过这次体验,我觉得无论是小白用户还是普通开发者亦或是专家型用户,华为云GES图引擎都可以满足你的需求并且带给你很好的体验。下面介绍一下我本次体验过程的一些情况;1.首页有以下特点:  (1)交互感不错,对于不同功能的切换也很自然,动态效果很好;  (2)内容丰富,功能区功能强大且有很明确的分类;  (3)介绍详细,有视频讲解结合帮助文档,比较容易上手。2. 体验流程(小白一枚,看着帮助文档也可以完成哦):(1)购买OBS资源 首先进入 https://www.huaweicloud.com/product/obs.html,创建OBS桶创建属于自己的OBS桶,确认好自己选择的区域,桶名称按照格式要求可以自己创建。创建完成后,上传自己需要测试的对象。(2)购买GES图引擎服务,创建图(本次体验选择开发学习,数据模板可自行下载)(3)完成OBS和图引擎创建后,就可以对自己的测试对象进行分析了左边有一个丰富的算法库,可以根据自己的需求进行使用,然后右边就可以展示出自己的图分析结果(由于对图引擎比较小白,无法更深入的为各位提供帮助了)。3. 体验过程中的一些问题及建议:(1)运行时间有些长,不知道是由于网速问题还是图处理过程比较复杂所以耗时挺久(并没有和其他平台相比较,有兴趣的用户可以尝试对比一下);(2)购买OBS 后不知道接下来怎么处理,如果没有帮助文档的话是找不到下一步怎么做的,而且接下来购买图引擎GES也是利用帮助文档的网址找到的,对新人来说会比较耗耐心;(3)每一个模块独立性很好,但是缺乏关联性,比如在图引擎界面是否可以链接到OBS页面;(4)图引擎运行结束后结果看不懂,利用算法得出来图关系,可是如果不理解具体是怎样的,感觉就没有作用了;建议:(1)是否可以优化一下处理过程,适当提高运算速率;(2)建议可以在首页或者其他页面设置一个流程操作图(简单的),方便用户进行操作;(3)各个模块加强关联性,像在图引擎界面可以设置链接到OBS或者其他页面的功能键;(4)对算法运行结果简单说明,方便用户了解由于我对于这方面知识欠缺,只是针对自己本次体验的过程提出一些问题或者是建议,希望能对此次活动有所帮助!                                                                                                                                                                                                                                                                                                                                                                                                                                                                          王稳占                                                                                                                                                               微信群昵称:王稳占-南京-主题设计师                                                                                                                                                                       华为云账号:wwz15850563128                                                                                                                                                                                                  2019年8月27日 
  • [产品介绍] 搬迁本地数据至OBS的几种方式
    《对象存储服务最佳实践》文档地址:https://support.huaweicloud.com/bestpractice-obs/obs_05_0110.html
  • [互动交流] OBS分段上传失败
            在调用obs(OBS C SDK)分段并发上传时,当分段数比较多时(130多个),初始化分段上传任务成功了,并发上传也成功了,但是在合并段的时候失败了,看logo好像是XML为空,这时桶里面没有生成对象名,但是分段上传的数据已经在桶里了,怎么清除这些数据?还有分段并发上传时对分段数有什么要求吗?
  • 微信小程序直传华为云OBS服务指南
    背景    微信小程序作为当下流行的移动应用,具有广泛的应用场景。在这种情况下,如何基于对象存储服务实现部分客户在小程序的设计开发过程中进行数据存储的需求成为一个热点问题。本文即通过一个示例程序来演示如何在微信小程序中实现上传功能与OBS对象存储服务的对接。步骤一:设置桶Bucket的跨域访问权限    微信小程序基于JS进行开发,受同源安全策略的要求,不同域间的网站脚本和内容如需交互,即需要配置跨域资源共享(CORS)规范。华为云OBS对象存储服务支持CORS规范,允许跨域访问OBS中的资源。    配置过程如下图所示:    1. 登录华为云控制台,找到文件上传指定的桶。        2.点击创建CORS规则,按照需求指定允许的来源、头域及请求方式。同时可以通过补充头域指定允许响应中返回指定的附加头域字段。步骤二:配置小程序上传域名白名单    微信小程序利用白名单机制管理跨域访问,为成功实现数据上传,需要在微信小程序平台域名白名单中对应配置桶的访问域名        1. 获取桶的访问域名    2.在对应小程序服务器域名配置中指定桶域名为合法域名。步骤三:使用小程序直传数据至对象存储桶中    示例代码如下(完整代码见附件)    指定policy的内容,计算对应policy编码及signature值。       1.通过chooseImage API选择图片,实现图片上传功能。        2. 通过chooseMessageFile实现对微信客户端会话选择文件上传    
  • [技术干货] 求解答: java.lang.NoClassDefFoundError: Could not initialize class com.obs.services.internal.Constants
    为什么上传文件再Linux服务器总是报这个异常,在开发环境Windows环境又不会。求解答。java.lang.NoClassDefFoundError: Could not initialize class com.obs.services.internal.Constants
  • [互动交流] OBS 对象存储服务才用5天,下行流量包就不够用了,
    可以更换流量包,或者升级流量包吗?
  • [技术干货] 请问 Golang 语言的 OBS SDK 是否支持 go module?
    请问 Golang 语言的 OBS SDK 是否支持 go module?是否支持 go mod 方式引入到客户项目中?
  • [技术干货] 华为云对象存储服务并行文件系统特性于2019年7月26日00:00(北京时间)转商通知
    尊敬的华为云客户:华为云计划于2019/07/26 00:00(北京时间)将对象存储服务并行文件系统特性(原文件语义特性)正式转商用。正式商用后,服务将于2019/07/26 00:00(北京时间)开始收费,并行文件系统特性按照数据所存储桶的预置容量进行收费,费率为标准存储 0.3元/GB/月,多AZ标准存储 0.42元/GB/月。华为云在此提醒您,如果您需要继续使用该特性,请登录OBS控制台进行并行文件系统桶的容量设置, 不设置将不能使用, 设置后正常使用将会产生费用。更多关于对象存储并行文件系统特性的介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(950808)与我们联系。感谢您对华为云的支持!
总条数:1624 到第 页
上滑加载中