• [技术干货] 华为云硬盘
    华为云硬盘备份(VBS)服务,可为云硬盘创建备份,利用备份数据回滚云硬盘,最大限度保障用户数据的安全性和正确性,确保业务安全。通过云硬盘备份服务,可以将创建备份的那一个时间点的云硬盘数据完整保存下来,当数据丢失或不一致时,可通过备份将云硬盘的数据恢复到备份时间点,在此基础上,快速恢复业务。 云硬盘备份有如下几个优点:1、安全备份数据会被保存到对象存储中,对象存储提供高达11个9的可靠性,高度保障备份数据的安全;对象存储和云硬盘是两套相互隔离的存储环境,云硬盘的故障不会影响到对象存储,达到真正的容灾效果;备份数据采用华为专有格式保存,无法被破解和篡改,杜绝信息泄露,保证信息安全。2、简单通过简单易用的界面,轻松实现对云硬盘的定期自动备份,无需进行技术门槛较高的安装、配置、脚本开发等操作。3、经济备份时,只备份增量的部分数据,保存时进行压缩,备份数据占用存储容量比原始数据小很多,减少备份费用;对象存储价格比云硬盘便宜很多,还可购买包年包月容量包,进一步降低备份费用。
  • 如何使用数据迁移服务从OBS加载数据到云搜索服务
    https://bbs.huaweicloud.com/blogs/78fbd980543011e89fc57ca23e93a89f
  • [视频点播] 是否支持将OBS和ECS上视频文件上传到点播服务平台?
    ECS:支持,请参考华为公有云社区的迁移说明。 OBS:功能开发中,预计5月上线。
  • [技术干货] 【使用指南】【使用预置模型实现花卉图像分类应用】有你想看的秘密!
    下载flowers数据集并上传至华为云对象存储服务器(OBS)桶中,操作步骤如下:步骤 2    参考“上传业务数据”章节内容,将数据集上传至华为云OBS桶中(假设OBS桶路径为:“s3://hc-demo-2018/data/train_photos”)。该路径下包含了用户训练模型需要使用的所有图像文件, 该目录下有5个子目录,代表5种类别,分别为:daisy, dandelion, roses, sunflowers, tulips。每个子目录的文件夹名称即代表该分类的label信息,每个子目录下存放对应该目录的所有图像文件,则目录结构为:s3://automation/data/flower_photos        |- daisy               |- 01.jpg               |- ...        |- dandelion                |- 11.jpg                |- ...         |- roses               |- 21.jpg               |- ...         |- sunflowers                |- 31.jpg                |- ...         |- tulips                |- 41.jpg                |- ...步骤 4    在“开发环境管理”界面,单击“创建开发环境”,在弹出框中,输入开发环境名称、密码、确认密码、引擎类型、代码存储的OBS路径等参数,单击“确定”,完成创建操作。步骤 6    单击右上角的“New”,选择“Python 2” ,进入代码开发界面。参见数据格式转换完整代码,在Cell中填写数据代码。from moxing.tensorflow.datasets.raw.raw_dataset import split_image_classification_datasetsplit_image_classification_dataset(      split_spec={'train': 0.9, 'eval': 0.1},      src_dir='s3://automation/data/flower_photos',      dst_dir='s3://automation/data',      overwrite=False)接下来将使用训练集对预置的VGG_16模型进行重训练获取新的模型,操作步骤如下:步骤 2    在列表中找到名称为“VGG_16”的模型,单击“拷贝至OBS”,弹出“拷贝至OBS”对话框,如图1所示。先对要使用的桶进行授权,然后,选择某个路径用于存放模型。单击“确认”,完成拷贝操作。步骤 3    在“预置模型库”界面,单击“VGG_16”所在行右侧的“创建训练作业”,进入“创建训练作业”界面。图2 训练作业的参数配置步骤 6    当训练作业运行成功后,可在模型保存路径下查看新的模型文件。3. 部署模型步骤 1    在“预测作业管理”界面,单击“创建预测作业”,进入“创建预测作业”界面。图3 预测作业的参数配置界面当预测作业的状态处于“运行中”,表示预测服务已部署,如图4所示。由于本案例创建的是gRPC预测服务,可通过深度学习服务提供的请求预测服务客户端工程,向预测服务发起预测请求,获取图片的分类结果。以下是使用Java预测客户端发起预测请求。步骤 1    执行下面命令,下载客户端代码。git clone https://github.com/huawei-clouds/dls-tfserving-client.git这里3个参数host、port、以及model_name的值即为预测作业的IP地址、端口号和模型名称3个参数值。参数dataPath和labelsFilePath表示待预测图片和类别标签的路径。<span style="font-family:-apple-system, MacSystemFont, "">关于发起预测请求的详细操作指导,请参考:https://github.com/huawei-clouds/dls-tfserving-client 。
  • [技术干货] 如何免代码实现阿里云OSS到华为云OBS的数据迁移
    想使用华为云OBS的海量存储能力,但数据在第三方云对象存储上,不想导入导出太折腾、又不想写代码,怎么破?华为云的云数据迁移服务(CDM)帮您免代码实现第三方云到华为云OBS的直传!CDM单实例每天最大可迁移8TB的数据,还支持定时自动传,轻松实现增量文件迁移。这里以迁移阿里云OSS的数据到华为云OBS为例,在开始之前,需要您准备以下数据:1、您阿里云OSS的访问域名,例如:oss-cn-hangzhou.aliyuncs.com。2、阿里云OSS的访问密钥,或者临时访问密钥、安全令牌。3、华为云OBS的访问域名、端口和AK、SK,例如:obs.myhuaweicloud.com。操作步骤1、登录CDM控制台,选择“购买云数据迁移服务”来创建一个CDM集群。实例类型一般选择“cdm.medium”,适用大部分迁移场景。集群所在的VPC、子网、安全组如果只是用于迁移OBS则没有要求,选择任一个即可。2、集群创建完成后,为CDM集群绑定EIP,用于通过公网访问阿里云OSS。由于是导入数据到华为云,弹性IP的带宽无需太大,5Mbit即可。3、选择创建好的集群后的“作业管理 > 连接管理 > 新建连接”,创建阿里云OSS连接时,连接类型选择“阿里云对象存储(OSS)”。4、OSS连接参数,主要是配置阿里云OSS的访问密钥AK、SK。5、OSS连接创建完成后,再选择“新建连接”,连接类型选择“对象存储服务(OBS)”,创建OBS连接。6、两个连接创建完成后,选择“表/文件迁移 > 新建作业”,创建阿里云OSS到OBS的迁移任务。文件到文件的传输时,文件格式推荐选择“二进制格式”,不解析文件直接传输,性能和速率都最优。重复文件处理方式选项推荐选择“跳过重复文件”,配合定时任务可实现增量数据迁移。这里的源目录和目标目录等参数还可以配置时间变量函数,具体参考:http://support.huaweicloud.com/usermanual-cdm/cdm_01_0068.html。通过时间变量函数,可以实现更高级的周期性同步(比如/data目录下每天生成一个带生成日期的目录mydata_20171114,配置时间变量函数,每天02:00将前一天的文件同步到目的端的target_20171114目录)。7、选择“下一步”后进入到“任务配置界面”,这里主要配置抽取并发数和定时任务。并发数默认即可,系统会自动根据文件数量并发传输。这里还可以配置定时同步,例如需要每10分钟同步一次时,如下图配置,您可根据需要选择开启或关闭定时任务。8、单击“保存并运行”,回到作业管理界面可查看作业执行进度,单击“历史记录”,可查看迁移的数据统计(文件数、数据量),如果出现异常还可以查看作业日志分析可能的原因。至此,完成迁移阿里云OSS的数据到华为云OBS的步骤。PS:CDM不仅可以文件到文件的传输,还支持近20种数据源之间的数据迁移,涵盖多个领域数据库、数据仓库、大数据Hadoop、NoSQL、文件服务器。轻松传数据通道:http://www.huaweicloud.com/product/cdm.html
  • [产品介绍] 基于OBS服务的企业备份,归档和云盘解决方案销售一纸禅
  • OBS_JAVA_SDK 示例工程无法添加
    帮助中心[/backcolor] > [/backcolor]OBS_JAVA_SDK[/backcolor] > [/backcolor]开发指南[/backcolor] > [/backcolor]相关资源[/backcolor] > [/backcolor]示例工程 [/backcolor]huawei-obs-java-sdk-demo.zip[/backcolor]无法添加的啊? [/backcolor][/backcolor]
  • [产品讨论] 对象存储友商对比
    以上数据均采自2018年3月25日之前,若有不足或缺陷,欢迎指正,欢迎讨论。
  • [下午茶时光] 【Day 38--2018/3/19】带你快速读懂块存储、文件存储、对象存储
    【下午茶时光——业界热点陪你喝咖啡】带你快速读懂块存储、文件存储、对象存储 产品和市场需求有各种相互影响的关系,但不管是哪一种,最终呈现都是产品和应用需求需要对应匹配。应用需求越多样化,市场也就划分得更加细,产品种类也就更加丰富。在存储行业,我们也可以从“应用适配”这个角度来聊聊各类存储。 传统认知上来说,IT设备分为计算/存储/网络三大类,相互之间是有明显的楚河汉界的。计算大家都清楚,服务器,小型机,大型机;网络也就是路由器交换机;存储有内置存储和外置存储,最常见的就是磁盘阵列。在HCI(超融合)这个概念没被热炒之前,计算网络存储还都是泾渭分明,各担其责的。今天我们先不讨论超融合的情况,仅基于传统理解,看看存储的情况。从逻辑上存储通常分为块存储,文件存储,对象存储。这三类存储在实际应用中的适配环境还是有着明显的不同的。 块存储(DAS/SAN)通常应用在某些专有的系统中,这类应用要求很高的随机读写性能和高可靠性,上面搭载的通常是Oracle/DB2这种传统数据库,连接通常是以FC光纤(8Gb/16Gb)为主,走光纤协议。如果要求稍低一些,也会出现基于千兆/万兆以太网的连接方式,MySQL这种数据库就可能会使用IPSAN,走iSCSI协议。通常使用块存储的都是系统而非用户,并发访问不会很多,经常出现一套存储只服务一个应用系统,例如如交易系统,计费系统。典型行业如金融,制造,能源,电信等。 文件存储(NAS)相对来说就更能兼顾多个应用和更多用户访问,同时提供方便的数据共享手段。毕竟大部分的用户数据都是以文件的形式存放,在PC时代,数据共享也大多是用文件的形式,比如常见的的FTP服务,NFS服务,Samba共享这些都是属于典型的文件存储。几十个用户甚至上百用户的文件存储共享访问都可以用NAS存储加以解决。在中小企业市场,一两台NAS存储设备就能支撑整个IT部门了。CRM系统,SCM系统,OA系统,邮件系统都可以使用NAS存储统统搞定。甚至在公有云发展的早几年,用户规模没有上来时,云存储的底层硬件也有用几套NAS存储设备就解决的,甚至云主机的镜像也有放在NAS存储上的例子。文件存储的广泛兼容性和易用性,是这类存储的突出特点。但是从性能上来看,相对SAN就要低一些。NAS存储基本上是以太网访问模式,普通千兆网,走NFS/CIFS协议。 对象存储概念出现得晚一些,存储标准化组织SINA早在2004年就给出了定义,但早期多出现在超大规模系统,所以并不为大众所熟知,相关产品一直也不温不火。一直到云计算和大数据的概念全民强推,才慢慢进入公众视野。 前面说到的块存储和文件存储,基本上都还是在专有的局域网络内部使用,而对象存储的优势场景却是互联网或者公网,主要解决海量数据,海量并发访问的需求。基于互联网的应用才是对象存储的主要适配(当然这个条件同样适用于云计算,基于互联网的应用最容易迁移到云上,因为没出现云这个名词之前,他们已经在上面了),基本所有成熟的公有云都提供了对象存储产品,不管是国内还是国外。对象存储常见的适配应用如网盘、媒体娱乐,医疗PACS,气象,归档等数据量超大而又相对“冷数据”和非在线处理的应用类型。这类应用单个数据大,总量也大,适合对象存储海量和易扩展的特点。网盘类应用也差不多,数据总量很大,另外还有并发访问量也大,支持10万级用户访问这种需求就值得单列一个项目了(这方面的扫盲可以想想12306)。归档类应用只是数据量大的冷数据,并发访问的需求倒是不太突出。 另外基于移动端的一些新兴应用也是适合的,智能手机和移动互联网普及的情况下,所谓UGD(用户产生的数据,手机的照片视频)总量和用户数都是很大挑战。毕竟直接使用HTTPget/put就能直接实现数据存取,对移动应用来说还是有一定吸引力的。对象存储的访问通常是在互联网,走HTTP协议,性能方面,单独看一个连接的是不高的(还要解决掉线断点续传之类的可靠性问题),主要强大的地方是支持的并发数量,聚合起来的性能带宽就非常可观了。 从产品形态上来看,块存储和文件存储都是成熟产品,各种规格形态的硬件已经是琳琅满目了。但是对象存储通常你看到都是一堆服务器或者增强型服务器,毕竟这东西现在还是互联网行业用得多点,DIY风格。 关于性能容量等方面,我做了个图,对三种存储做直观对比。 块存储就像超跑,根本不在意能不能多载几个人,要的就是极限速度和高速下的稳定性和可靠性,各大厂商出新产品都要去纽北赛道刷个单圈最快纪录,千方百计就为提高一两秒,跑不进7分以内都看不到前三名。(块存储容量也不大,TB这个数量级,支持的应用和适用的环境也比较专业(FC+Oracle),在乎的都是IOPS的性能值,厂商出新产品也都想去刷个SPC-1,测得好的得意洋洋,测得不好自动忽略。)文件存储像集卡,普适各种场合,又能装数据(数百TB),而且兼容性好,只要你是文件,各种货物都能往里塞,在不超过性能载荷的前提下,能拉动常见的各种系统。标准POXIS接口,后车门打开就能装卸。卡车也不挑路,不像块存储非要上赛道才能开,普通的千兆公路就能畅通无阻。速度虽然没有块存储超跑那么块,但跑个80/100码还是稳稳当当。而对象存储就像海运货轮,应对的是"真·海量",几十上百PB的数据,以集装箱/container(桶/bucket)为单位码得整整齐齐,里面装满各种对象数据,十万客户发的货(数据),一条船就都处理得过来,按照键值(KeyVaule)记得清清楚楚。海运速度慢是慢点,有时候遇到点网络风暴还不稳定,但支持断点续传,最终还是能安全送达的,对大宗货物尤其是非结构化数据,整体上来看是最快捷便利的。 从访问方式来说,块存储通常都是通过光纤网络连接,服务器/小机上配置FC光纤HBA卡,通过光纤交换机连接存储(IPSAN可以通过千兆以太网,以iSCSI客户端连接存储),主机端以逻辑卷(Volume)的方式访问。连接成功后,应用访问存储是按起始地址,偏移量Offset的方法来访问的。而NAS文件存储通常只要是局域网内,千兆/百兆的以太网环境皆可。网线连上,服务器端通过操作系统内置的NAS客户端,如NFS/CIFS/FTP客户端挂载存储成为一个本地的文件夹后访问,只要符合POXIS标准,应用就可以用标准的open,seek, write/read,close这些方法对其访问操作。对象存储不在乎网络,而且它的访问比较有特色,只能存取删(put/get/delete),不能打开修改存盘。只能取下来改好后上传,去覆盖原对象。(因为中间是不可靠的互联网啊,不能保证你在修改时候不掉线啊。所谓你在这头,对象在那头,所爱对象隔山海,山海不可平。) 另外再说一点分布式存储的问题,以上三种存储都可以和分布式概念结合,成为分布式文件系统,分布式块存储,还有天生分布式的对象存储。对象存储的定义就把元数据管理和数据存储访问分开在不同的节点上,多个节点应对多并发的访问,这自然就是一个分布式的存储产品。而分布式文件系统就很多了,各种开源闭源的产品数得出几十个,在不同的领域各有应用。至于分布式的块存储产品就比较少,也很难做好。我个人认为这个产品形态有点违和,分布式的思想和块存储的设计追求其实是冲突的。前面讲过,块存储主要是图快,一上分布式肯定严重拖后腿,既然都分布开了,节点之间的通信必然增加额外负担,再加上CAP,为了保持一致性牺牲响应速度,得到的好处就是扩展性。这就像把超跑弄个铁索连环,哪里还可能跑出高速?链条比车都重了,穿起来当火车开吗?而文件存储原来也就是集装箱货车,大家连起来扮火车还是有可行性的。作者:EricChan
  • [问题求助] OBS里一个桶的容量有多大?单文件上传的限制大小是多少?
    每个对象的大小最小可达 1 字节,最大可至48.8TB。如果您调用PUT Object的API上传,上传单个对象最大为5GB;如果您调用多段上传的API上传,上传单个对象最大为48.8TB;如果您通过OBS管理控制台上传,上传单个对象最大为50MB;如果您通过OBS客户端上传,上传单个对象最大是48.8TB。
  • [技术干货] 基于Java WEB、对象存储和人脸识别等技术实现高可用的家用照片管理系统
    详细实现原理和使用说明请参见如下链接:https://shentar.github.io/2018/02/11/jalbum/
  • [问题求助] 我想了解一下云硬盘和对象存储该怎么选择,我看都是存储数据的不是吗?
    我想了解一下云硬盘和对象存储该怎么选择,我看都是存储数据的不是吗?
  • [产品介绍] 对象存储1月月刊
  • [问题求助] OBS的上传、下载性能咨询
    咨询下OBS某个桶内单文件上传、下载速度理论上最大能达到多少(假设上传、下载的主机是同一个Region内的ECS,即假设网络吞吐量大于OBS理论上限)?
  • [云审计] 云审计和对象存储服务的关系
    记录的的文件需要OBS存储一下下
总条数:799 到第
上滑加载中