• [技术干货] 华为云OBS服务新版本命令行工具-obscmd发布(兼容Linux、Windows)
           新版obscmd是一款基于Python开发的命令行工具,相对于旧版obscmd工具,不论是在功能上还是易用性都做了很大完善,可用于上传、下载和管理存储在对象存储服务中的数据,具有简单、易用等优势。您可以使用新版obscmd对OBS中的桶和对象进行操作,例如上传、下载、删除等。对于熟悉命令行程序的用户,新版obscmd是执行批量处理、自动化任务的理想选择。 工具下载地址 :obscmd-v5.0.0_beta使用指南下载地址:obscmd用户指南(5.0.0_beta)源代码获取地址:github_obscmd本工具完全开源,您可以自行改造,并用于商业或个人行为而不受影响。 跨平台:Windows、Linux都可以运行。操作方便:完全命令行的方式进行操作。功能完善:拥有桶基本操作,对象基本操作,桶权限管理,生命周期管理等功能。透明化:您可以看到完整的源码,我们稍后也会开源到Github。 支持文件和文件夹的上传、下载、删除等操作。通过Multipart方式,对大文件进行分片上传或下载。支持断点续传,支持增量上传。 工具运行环境需要依赖python2.7.x或python3.3以上。若使用python2.7.x在windows系统上安装后不能成功运行,则尝试运行下面命令进行安装:       python setup.py bdist_wininst       安装完毕后,即可使用。 初始化配置文件:       工具操作系统上第一次运行命令时会生成本地目录~/.obscmd,在操作系统系统会在当前用户目录下生成.obscmd目录。其中logs存放日志文件。checkpoint存放断点续传文件。工具的配置信息放在本地文件.obscmd/obscmd.ini中。       运行以下命令,配置或修改本地obscmd配置文件中的access_key_id和secret_access_key值。运行该命令会弹出提示用户输入对应值。       $ obscmd configure        OBS Access Key ID [****************KL9C]: ssdfwer234dfg       OBS Secret Access Key [****************2GHF]: 23o4uouweorsdf       OBS Server [*****]:       也可根据需要手动修改配置文件obscmd.ini。       命令在运行过程中会读取本地用户目录下.obscmd/obscmd.ini和.obscmd/default.ini文件,其中default.ini为工具默认配置文件,不建议用户修改;工具会优先选择obscmd.ini中的配置参数。这些配置包括了客户端的权限信息AK&SK,日志配置、任务配置等信息。命令运行的日志保存在~/.obscmd/logs目录汇中。用户可根据情况修改obscmd.ini文件进行配置。除了在配置文件中指定AK&SK,用户也可以在每条命令行中通过参数指定:       $ obscmd obs ls --ak slafjwe23 --sk lkjdlf234wefa 命令结构:       新版obscmd目前只实现了OBS服务相关命令,命令设计为两级命令。命令结构如下:       $ obscmd <command> <subcommand> [options and parameters]       $标识命令行提示符,不同操作系统不同用户权限可能会有差异。这种结构一开始是对obscmd的基本调用。下一部分command指定一个顶级命令,通常表示obscmd中支持的华为云服务。每个云服务均拥有指定要执行的操作的附加子命令subcommand。一个操作的常规命令选项或特定参数可在命令行中以任何顺序指定。如果多次指定某个排他参数,则仅应用最后一个值。 命令帮助:       要在使用obscmd时获取帮助,您只需在命令末尾添加 help。例如,以下命令会列出常规 obscmd选项和可用顶层命令的帮助。       每个命令的帮助分为五个部分:命令名称、命令描述、命令结构、命令选项、命令使用样例。       $ obscmd help       以下命令会列出 obs 顶级命令的相关帮助:       $ obscmd obs help       以下命令会列出 obs 的ls子命令相关帮助:       $ obscmd obs ls help
  • [互动交流] MRS服务和OBS服务有什么关系?
    RT。MRS服务和OBS服务有什么关系?
  • [技术干货] 华为云OBS服务“大数据生态插件”OBSFileSystem下载地址
    OBSFileSystem封装对象存储,提供HDFS的FileSystem语义。OBSFileSystem 下载地址:https://github.com/huaweicloud/obsa-hdfs/tree/master/release环境搭建和配置指南 下载地址:https://github.com/huaweicloud/obsa-hdfs/blob/master/release/doc/%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E6%9C%8D%E5%8A%A1OBSA-HDFS%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.pdf
  • [新特性] 视频点播上线新功能(支持已上传OBS的媒资一键转存视频点播服务)啦
    功能详细描述:用户在使用点播服务前,已经在OBS存储了视频文件,用户期望将这些视频文件发布到点播系统。用户在媒体处理服务进行完处理(如拼接)之后,期望将处理完的视频发布到点播系统。用户在调用该接口之前需要将桶对点播服务进行授权。因不同区域的云服务不能互相连接,用户创建的桶所在区域必须和点播服务所在区域保持一致,如使用华北1的点播服务则必须创建华北1的桶。OBS转存流程图:
  • [媒体转码] 如何快速启动拼接任务
    视频拼接功能支持将存储于OBS上的多个媒体文件根据指定的顺序进行拼接,并根据设定的封装格式输出。快速拼接流程如下图:操作步骤说明如果已通过华为云的转码服务,将待拼接的视频转码成mp4格式可跳过步骤1-3,直接进入步骤 4。步骤1 创建桶。 1. 登录对象存储服务控制台。 2. 单击“创建桶”,创建拼接的输入桶和输出桶。如果输入输出文件存储在同一个 桶中,创建一次即可;否则创建两次。说明 – 创建通的区域需要与转码服务部署的区域一致。例如:当前媒体转码服务部署在华北 区,在对象存储服务创建桶时,请选择华北区。 3. 单击输入桶的桶名称,进入输入桶页面。在右侧导航单击“对象”,在页面单击 “新建文件夹”,配置转码服务输入文件夹。 4. 单击输出桶的桶名称,进入输出桶页面。在右侧导航单击“对象”,在页面单击 “新建文件夹”,配置转码服务输出文件夹。步骤2 单击输入桶名称,点击“对象 > 上传文件”,上传待拼接的视频文件。 OBS文档中提供了多种上传方式,包含OBS管理控制台上传文件以及OBS Browser客户 端批量上传。步骤3 登录媒体转码服务控制台,进入“云资源授权”页面对桶进行授权。步骤4 在左侧导航树单击“视频拼接”,在视频拼接页面单击“新建拼接任务”,进入创建 视频拼接任务弹窗。步骤5 在弹窗配置拼接视频的输入参数。 1. 单击桶右侧的“浏览”,选择拼接源文件所在桶。 2. 单击拼接源右侧的“浏览”,根据拼接的先后顺序,选择拼接源文件。 如果需要拼接的视频文件位于不同的桶或目录,可以重复单击“浏览”直到选择 了所有需要拼接的源文件。 3. 选择拼接参考的文件序号。 4. 单击“下一步”,进入输出设置页面。转码基本设置如下:步骤6 配置拼接视频的输出参数。 1. 选择输出文件格式。支持MP4、HLS、DASH、DASH+HLS四种视频格式。 2. 单击输出桶右侧“浏览”,配置输出视频文件所在桶。 3. 单击输出路径右侧“浏览”,配置输出视频文件的具体路径。 4. 单击“确定”,提交拼接任务。步骤7 返回“视频拼接”页面,查看拼接任务执行情况。如果拼接成功,在“转码输出”列点击“输出路径”,可查看转码成功后的输出 文件。 如果拼接失败,在“转码输出”列可查看失败原因。说明如果已配置消息通知,任务执行状态也将通过消息通知服务下发通知。
  • [视频直播] OBS推流工具介绍
    概念介绍OBS推流工具OBS(Open Broadcaster Software)是一款直播流媒体内容制作软件。OBS收费模式免费,程序和源代码都不收费。下载方法请从OBS官网获取最新软件。速戳:操作指导
  • [技术干货] 浏览器直接打开OBS中存放的GZIP压缩对象实践
     1      方案说明在互联网应用场景下客户诉求:OBS能够提供浏览器直接访问存放的gzip压缩对象功能。这样带来的好处就是在上传和下载时,效率更高且存放的成本更低。本方案通过提供先压缩后上传的方式来实现访问速度提升的效果。详细方案描述如下:1、 首先在本地将待上传的文件进行压缩,将json文件压缩为json.gz文件;2、 通过上传本地文件方法将压缩后的json.gz文件上传到obs桶中,上传时通过指定头域Content-Type: application/json和Content-Encoding:gzip,(本次主要讲解json格式压缩文件);3、 上传成功后通过访问对象接口进行访问即可。2      实现方法2.1      方式一:通过API 方式来实现上传下载2.1.1        上传对象注意:需要指定content-type和Content-Encoding:gzip1)请求消息样式PUT /ObjectName HTTP/1.1Host: bucketname.obs.cn-north-1.myhwclouds.comContent-Type: application/jsonContent-Encoding:gzipContent-Length: lengthAuthorization: authorizationDate: date<Optional Additional Header><object Content>2.1.2        获取对象内容1)请求消息样式GET /ObjectName HTTP/1.1Host: bucketname.obs.cn-north-1.myhwclouds.comDate: dateAuthorization: authorization<Optional Additional Header>2)响应消息样式HTTP/1.1 status_codeContent-Type: typeDate: dateContent-Length: lengthEtag: etagContent-Encoding: gzipLast-Modified: time <Object Content>2.2      方式二:通过Java SDK方式来实现3      实际操作结果以上2种方式的实际操作结果如下图所示:验证通过浏览器可以直接打开进行浏览,如下图所示:
  • [技术干货] 【动手体验】使用Java SDK管理华为云对象存储OBS
    实验目的通过使用Java+SDK管理华为云对象存储OBS,了解对象存储的基本原理和操作,熟悉SDK的使用方法,为后续需要开发复杂功能提供入门准备。准备动作1、电脑上安装Java开发环境+Eclipse,可参考网上的教程:Java安装教程:http://www.runoob.com/java/java-environment-setup.html#win-installEclipse+汉化教程:https://blog.csdn.net/weixin_41848531/article/details/817364142、下载华为云OBS SDK,笔者编辑本文时,最小版本是OBS Java SDK 3.0.0 ,SDK安装过程如下:a.下载OBS Java SDK开发包。b. 在Eclipse中创建一个Java工程b. 将解压后的文件:esdk-obs-java-<versionId>.jar 以及third_party文件夹下所有的JAR包拷贝到您的项目中。c. 在Eclipse中选择您的工程,右击选择 Properties > Java Build Path > Add JARs。3、下载OBS的访问密钥key文件。a. 登陆华为云网站(www.huaweicloud.com),进入OBS控制台,下载访问密钥。密钥key是一个xxx.csv的表格文件,其中Access Key Id对应OBS API中的ak,Secret Access Key对应OBS API中的sk。密钥key的作用:通过网站访问对象存储OBS,需要先通过账号密码登陆网站。通过代码访问OBS,如果也需要输入账号密码,就会使得的代码变复杂。因此密钥key可以认为是经过加密的账号和密码,代码中可直接使用。 密钥key文件只在生成的时候提供下载,因此下载后需妥善保存。4、打开JDK包中的开发指南《对象存储Java SDK开发指南.doc》内含丰富的说明。操作步骤 1、在eclipse工程中左侧工具栏中找到自动生成的xxx.java,编写一个java类,输出欢迎语句。点击eclispe工具栏上的 调试或运行按钮,在结果中可看到欢迎语句。package main; import java.io.*;import java.io.IOException; public class main {public static void main(String[] args) {System.out.println("welcome to china!!!");}}2、创建一个OBS客户端。电脑是访问OBS的客户端,华为云的OBS是服务器。2.1 公有云的数据中心是分区域的,每个OBS访问地址都是通过“后缀endpoint”来指定数据是存放在哪个区域的数据中心的。“后缀endpoint”的查询地址:https://developer.huaweicloud.com/endpoint3.3 参考《对象存储服务Java SDK开发指南.doc》分别编辑创建OBS客户端、创建桶、上传对象和查看所有对象,具体代码参考后续完整代码。3.4 点击eclipse的调试或运行按钮,在控制台中显示创建桶成功,显示所有对象成功。控制台中提示日志插件和性能统计错误,不影响功能,可忽略不计。3.5 在华为云OBS 对象存储控制台中,可看到新增生成的桶和上传的文件。完整代码package main; import java.io.*;import java.io.IOException; import com.obs.services.ObsClient;import com.obs.services.exception.Ob**ception;import com.obs.services.model.*;  public class main {/* 初始化OBS客户端所需的参数 */private static final String endPoint     = "https://your endpoint";private static final String ak           = "your ak";private static final String sk           = "your sk";private static final String g_bucketName = "hello-obs-demo";private static final String g_bucketLoc  = "cn-south-1"; public static void main(String[] args) {System.out.println("welcome to china!!!");/* 创建OBS客户端 */ObsClient obsClient = new ObsClient(ak,sk,endPoint);ObsBucket obsBucket;try {/* 创建一个桶 */obsBucket = createBucket(obsClient);/* 从本地笔记本上传文件到桶里面 */uploadFile(obsClient, obsBucket);/* 列举对象(文件)的信息 */listFile(obsClient,obsBucket);/* 关闭客户端 */}catch (Ob**ception e){System.out.println("main 函数出现错误!!!");}/* 关闭obs客户端  */closeObsClient(obsClient);}/* 创建一个桶 */private static ObsBucket createBucket(ObsClient obsClient) throws Ob**ception{ObsBucket obsBucket = new ObsBucket(g_bucketName,g_bucketLoc);        obsClient.createBucket(obsBucket);        System.out.println("Create bucket:" + g_bucketName + " successfully!");        return obsBucket;}/* 创建一个对象(文件) */private static void uploadFile(ObsClient obsClient, ObsBucket obsBucket) throws Ob**ception{File newfile = new File("C:\\Users\\xiaoniu\\Desktop\\temp\\hello.txt");obsClient.putObject(obsBucket.getBucketName(), "folder/", newfile);obsClient.putObject(obsBucket.getBucketName(), "hello1", newfile);obsClient.putObject(obsBucket.getBucketName(), "hello2", newfile);}/* 列举对象(文件)的信息 */private static void listFile(ObsClient obsClient, ObsBucket obsBucket) throws Ob**ception{System.out.println("开始测试桶里面的对象信息");ObjectListing objList = obsClient.listObjects(obsBucket.getBucketName());for (ObsObject obj : objList.getObjects()){System.out.println("--:"+obj.getObjectKey()+" (size=" + obj.getMetadata().getContentLength()+")");}}/* 关闭客户端 */private static void closeObsClient(ObsClient obsClient) {try{obsClient.close();}catch (IOException e){System.out.println("close obs client error.");}}}
  • [教程] 通过s3fs工具以文件系统方式访问obs实践与调优
    背景s3fs是一款开源的,支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。本文介绍了使用s3fs,将OBS的桶挂载至本地目录,从而通过文件系统的风格进行OBS桶内基本操作。同时,基于性能比对测试,本文推荐了一组s3fs挂载参数参数,以供参考使用。s3fs挂载示意图如下所示:s3fs环境搭建1、  申请一台CentOS版本的ECS。2、  在OBS上创建一个桶,用于后续挂载访问。3、  安装s3fs工具:登录ECS并在root权限下,参考如下步骤安装s3fs。(1)创建挂载目录mkdir /data_obs(2)安装fuse组件(原因:s3fs依赖fuse组件),CentOS可采用如下方式安装。yum install fuse      (3)       参考官方网页(https://github.com/s3fs-fuse/s3fs-fuse)安装s3fs,CentOS的安装方式如下:sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel git clone https://github.com/s3fs-fuse/s3fs-fuse   cd s3fs-fuse ./autogen.sh ./configure make sudo make install        注意:如果操作系统为Centos6.5,则需要手动安装fuse2.8.4(Centos6.5缺省fuse为2.8.3),详细操作如下cd /data/software/ wget https://github.com/libfuse/libfuse/releases/download/fuse_2_9_4/fuse-2.8.4.tar.gz tar -zxvf fuse-2.8.4.tar.gz cd fuse-2.8.4 ./configure make make install export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr/lib64/pkgconfig/:/usr/local/lib/pkgconfig modprobe fuse echo "/usr/local/lib" >> /etc/ld.so.conf ldconfig pkg-config --modversion fuse  //看到版本为2.8.4表示安装成功   (4)       在/root/下创建.passwd-s3fs的文件,设置文件权限为600chmod 600 /root/.passwd-s3fs   文件中的内容为AK:SK,如下所示,修改完毕的.passwd-s3fs文件如下所示:(5)       执行如下格式命令实施mount(以下示例中,桶名为obs-hpc-test,在实际使用时,桶名,挂载点,以及url需根据实际情况修改)s3fs -o allow_other obs-hpc-test /data_obs -o url=  -o umask=0挂载后的结果如下所示:挂载目录卸载         卸载已挂载目录的方式为,使用root账户执行如下命令:umount -l /data_obs/         其中/data_obs/目录为示例的挂载路径。参数调优         经过比对测试,从性能优化的角度,推荐以下一组参数作为挂载参数。s3fs obs-hpc-test /data_obs/ -o passwd_file=/root/.passwd-s3fs -o url=http://obs.cn-north-1.myhwclouds.com/ -o allow_other -o umask=0 -o max_write=131072 -o use_cache=/dev/shm -o big_writes -o enable_noobj_cache -o sigv2 -o del_cache-o allow_other本参数用于设置挂载目录可以被任意登陆服务器的用户使用,且可以将该挂载目录用于创建NFS/SMB共享。-o umask=0本参数用于设置挂载挂载后资源的访问权限,确保挂载后所有用户能够对挂载目录下资源具有访问权限。umask与chmod配套,当设置umask=0时对于文件权限为777,若需要设置权限为755则设置umask=022,以此类推配置所需权限-o max_write本参数用于设置vfs的上传块大小,默认值为4096,可将该数值设置为fuse所支持的最大值128k(即设置-o max_write=131072),以提升性能。-o use_cache       使用内存作为缓存目录,而非本地磁盘作为cache将提升文件读写性能,即将该值设置为-o use_cache=/dev/shm。如果系统内存使用较高则建议另外挂载一个SSD盘作为缓存目录-o enable_noobj_cache         使用本参数后,将减少s3fs发送的列举桶的请求,从而提升性能。-o big writes         开启本参数后,内核会进行IO合并,对于大块读写,提升性能。-o sigv2         缺省值为采用V4鉴权,使用V2鉴权效率更高,兼容性更好。-o del_cache         文件使用完成后及时清理缓存中的数据。-o multipart_size(default="10"(10MB))         设定上传是单个分段的大小,缺省值为10MB,按照对象存储支持最大1万个分段,最大支持上传约98GB的对象。如果待上传的文件大小超过100,000MB,则需要调大该参数,最大支持5120单位为MB(对象存储支持单个分片最大5GB) 设置开机启动为确保客户端重启后,仍可自动挂载OBS桶至本地目录,需在/etc/fstab中新增一行s3fs的开机启动的挂载命令。参考上述最优参数,则新增的/etc/fstab中的挂载命令格式如下:s3fs#obs-hpc-test /data_obs/ fuse _netdev,allow_other,umask=0,use_cache=/dev/shm,max_write=131072,big_writes,enable_noobj_cache,sigv2,del_cache,url=http://obs.eu-de.otc.t-systems.com/其中obs-hpc-test为示例的桶名,/data_obs为示例的挂载路径,http://obs.eu-de.otc.t-systems.com为示例的url,实际配置时,需根据实际情况修改。同时,对比s3fs直接挂载命令可发现,/etc/fstabl中的s3f3开机启动命令中,各项参数无需-o连接,而是直接使用逗号分隔即可。补充说明         如果需要挂载桶内指定目录,而非整个桶,在桶名后添加“:/”再接目录名即可。如:obs-hpc-test:/dir01
  • [教程] 通过s3fs工具以文件系统方式访问obs
    通过s3fs工具以文件系统方式访问obs背景s3fs是一款开源的,支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。本文介绍了使用s3fs,将OBS的桶挂载至本地目录,从而通过文件系统的风格进行OBS桶内基本操作。同时,基于性能比对测试,本文推荐了一组s3fs挂载参数参数,以供参考使用。s3fs挂载示意图如下所示:s3fs环境搭建1、  申请一台CentOS版本的ECS。2、  在OBS上创建一个桶,用于后续挂载访问。3、  安装s3fs工具:登录ECS并在root权限下,参考如下步骤安装s3fs。(1)       创建挂载目录mkdir /data_obs(2)       安装fuse组件(原因:s3fs依赖fuse组件),CentOS可采用如下方式安装。yum install fuse(3)       参考官方网页(https://github.com/s3fs-fuse/s3fs-fuse)安装s3fs,CentOS的安装方式如下:sudo yum install automake fuse fuse-devel   gcc-c++ git libcurl-devel libxml2-devel make openssl-develgit clone   https://github.com/s3fs-fuse/s3fs-fuse.gitcd s3fs-fuse./autogen.sh./configuremakesudo make install(4)       在/root/下创建.passwd-s3fs的文件,设置文件权限为600chmod 600 /root/.passwd-s3fs文件中的内容为AK:SK,如下所示,修改完毕的.passwd-s3fs文件如下所示:(5)       执行如下格式命令实施mount(以下示例中,桶名为obs-hpc-test,在实际使用时,桶名,挂载点,以及url需根据实际情况修改)s3fs -o allow_other obs-hpc-test   /data_obs   -o url=http://obs.eu-de.otc.t-systems.com/    -o umask=0挂载后的结果如下所示:挂载目录卸载         卸载已挂载目录的方式为,使用root账户执行如下命令:umount -l /data_obs/         其中/data_obs/目录为示例的挂载路径。参数调优         经过比对测试,从性能优化的角度,推荐以下一组参数作为挂载参数。s3fs -o allow_other obs-hpc-test /data_obs/ -o passwd_file=/root/.passwd-s3fs -o url=http://obs.cn-north-1.myhwclouds.com/ -o   umask=0 -o max_write=131072 -o use_cache=/dev/shm -o big_writes -o enable_noobj_cache    -o max_write  本参数用于设置vfs的上传块大小,默认值为4096,可将该数值设置为fuse所支持的最大值128k(即设置-o max_write=131072),以提升性能。    -o use_cache             使用内存,而非本地磁盘作为cache将提升文件读写性能,即将该值设置为-o use_cache=/dev/shm。    -o enable_noobj_cache             使用本参数后,将减少s3fs发送的列举桶的请求,从而提升性能。    -o big writes             开启本参数后,内核会进行IO合并,对于大块读写,提升性能。设置开机启动为确保客户端重启后,仍可自动挂载OBS桶至本地目录,需在/etc/fstab中新增一行s3fs的开机启动的挂载命令。参考上述最优参数,则新增的/etc/fstab中的挂载命令格式如下:s3fs#obs-hpc-test   /data_obs/ fuse _netdev,allow_other,umask=0,use_cache=/dev/shm, max_write=131072,big_writes,enable_noobj_cache,url=http://obs.eu-de.otc.t-systems.com/其中obs-hpc-test为示例的桶名,/data_obs为示例的挂载路径,http://obs.eu-de.otc.t-systems.com为示例的url,实际配置时,需根据实际情况修改。同时,对比s3fs直接挂载命令可发现,/etc/fstabl中的s3f3开机启动命令中,各项参数无需-o连接,而是直接使用逗号分隔即可。 
  • [分享交流] 通过s3fs工具以文件系统方式访问obs
    通过s3fs工具以文件系统方式访问obss3fs是一款开源的,支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。本文介绍了使用s3fs,将OBS的桶挂载至本地目录,从而通过文件系统的风格进行OBS桶内基本操作。同时,基于性能比对测试,本文推荐了一组s3fs挂载参数参数,以供参考使用。[最佳实践]通过s3fs工具以文件系统方式访问obs.pdf( 预览 )
  • [产品介绍] 热气腾腾的最新动态,让您随时把脉OBS的最新动向
    链接:https://support.huaweicloud.com/wtsnew-obs/index.html位置:OBS帮助中心左侧导航栏第一本手册攻略:OBS最新发布的特性、文档、SDK以及相关介绍都在“最新动态”中记录,如果您想了解OBS服务发展历程,或是服务最新特性,千万不要错过哦。小锦囊:想了解特性的详细描述,可以单击“操作指导”获取。 
  • [教程] 【OBS专题】从入门到实践,汇聚OBS精华内容
    【OBS专题】新上线此专题页面汇聚了OBS产品介绍、入门使用、视频帮助、最佳实践、问题处理、帮助文档、SDK等精华内容,可帮助用户快速了解并使用OBS。
  • 专属OBS对象存储EC纠删码算法介绍
       为实现数据的高可靠和高性能,专属对象存储采用ErasureCode(EC,纠删码)算法做数据冗余,由于不同大小的数据存入专属OBS,数据冗余比不完全一致,所以专属云的实际使用容量与下单时预估的存储容量会存在一定的不一致。不一致的原因在于,下单时购买专属对象存储,实际是购买了一定数量的专属存储服务器,为了便于理解,我们把固定数量的专属存储硬件的裸容量做了转换,根据EC算法典型的数据冗余比率,转换成了预估的有效容量。 不同大小数据的冗余比不一致的原因,我们从EC算法的原理进行解释,专属OBS EC算法原理:专属OBS首先会对接收到的数据进行条带化,然后对每N个原数据条带,使用EC算法进行冗余计算,计算得到M个冗余数据条带,不同的条带会存入不同的硬盘,以此来提升数据读写的带宽和保障数据可靠性。但实际上对象切分的数据条带可能不足N个,也会产生固定的M个冗余条带,此时容量利用率会低于典型冗余比N/(N+M)。也就是说固定数量的专属对象存储设备,在存储不同大小的对象时,有效容量不是完全一致的。特别是小对象,容量利用率会低于大对象的容量利用率。 所以如果存储的小文件(小于3MB)过多,实际可使用的容量会小于下单时的预估容量。
  • [公告] 华为云对象存储迁移服务于2018年9月7日00:00(北京时间)转商通知
    尊敬的华为云客户:华为云计划于2018/09/07 00:00:00将对象存储迁移服务(Object Storage Migration Service, 简称OMS)正式转商用。对象存储迁移服务是一种线上数据迁移服务,帮助客户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。对象存储迁移服务正式商用后,将有一段时间免费期,免费时间到2019/06/30 23:59:59,服务将于2019/07/01 00:00:00开始收费,按迁移数据累积流量计费,收费标准:0.1元/GB。华为云在此提醒您,如果不再使用对象存储迁移服务,请于服务免费期结束前(2019/06/30 23:59:59)登陆对象存储迁移服务控制台,停止所有迁移任务,避免产生费用。更多关于对象存储迁移服务的产品介绍请您点击了解。如您在使用过程中有宝贵意见,欢迎您拨打华为云服务热线:4000-955-988与我们联系。感谢您对华为云的支持!https://www.huaweicloud.com/notice/2018/20180830102724523.html
总条数:1629 到第 页
上滑加载中