易用上云－华为云对象存储服务应用系列②--ElasticSearch归档基本介绍ElasticSearch支持对数据进行快照，然后把快照归档到S3对象存储、共享NAS等存储服务中。OBS是与亚马逊AWS S3兼容的，ElasticSearch同样能把快照数据归档到OBS上。配置指导下面就来介绍一下怎么通过repository-s3插件将Elasticsearch快照数据归档到OBS上1. 安装repository-s3插件Elasticsearch官网提供了安装指导：https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3.html注意：repository-s3的版本要和Elasticsearch的版本配套。这里使用的Elasticsearch、repository-s3的版本都是5.5.2。一开始用ES版本是5.5.0，安装5.5.2版本的repository-s3失败：1763版本配套，安装成功：1764这里把插件安装包直接下载到本地进行安装的，在线安装可以参考上面官网的安装指导。安装成后在es的plugins目录下可以看到安装成功的插件1765ES集群里面所有节点都要安装repository-s3插件2. 配置快照仓库a) 预置条件：在华为云上开通OBS对象存储服务，拿到OBS的AK/SK，在OBS里创建归档快照用的桶，我创的桶是esbucket。OBS门户：http://www.hwclouds.com/product/obs.htmlb) 参照ES官网的指导，配置快照仓库，json格式如下：1766Region：由于这里对接的是OBS对象存储服务，这里不要配置region信息，插件里填了region后，插件会强制把endpiont改成AWS的域名；Endpoint：对接到OBS对象存储服务endpoint必须要填，根据桶的位置，填写桶所在区域对应的OBS对象存储服务的域名；Protocol：我这里测试用的是http，OBS是支持https的；https比http要复杂一点，需要从OBS服务端下载https证书；ES官网里还介绍了其他配置参数，可以根据自己的实际需求做配置：https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3-repository.html c) 开启仓库这里使用curl命令给ES发请求来打开仓库，当然也可以使用ES的SDK来开启：1767可以查询当前打开的仓库：1768这里创建了2个仓库：17693. 备份快照触发ES执行快照归档：url -X PUT http://127.0.0.1:9200/_snaps**/my_s3_repository/snaps**_3?wait_for_completion=true1770归档成功：1771使用OBS Browser查看esbucket桶里的数据：1773OBS Browser下载链接：http://developer.hwclouds.com/tools/obs.html4. 恢复快照：1774 1775

本帖最后由 objectflying 于 2017-9-16 22:50 编辑易用上云-华为云对象存储服务应用系列①Cloud Sync备份 对象存储服务是一种高可靠、高性能、高安全的海量云存储服务，主要应用在备份归档、大数据分析、WEB/Mobile以及网盘应用等场景，是公有云上数据的最终汇聚点，提供99.999999999%（11个9）的数据持久性， 99.99%可用性，10ms稳定时延，支持标准存储、低频访问存储和归档存储三种存储类别，可基于生命周期管理策略实现数据自动转储，可以大大节省用户的使用成本，可以通过Cloud Sync与OBS服务间无缝同步数据。测试数据准备首先需要创建桶，登录华为云华为云OBS服务控制台https://storage.hwclouds.com/obs/，进去后可以看到你的OBS服务下所有桶信息，我们这里为群晖专门创建一个备份数据桶，单击右上角的“创建桶”按钮：1518 （“桶”是对象存储服务的存储的容器名称，桶里面管理的是存储的对象，关于桶的介绍，可以看这里：http://support.hwclouds.com/productdesc-obs/zh-cn_topic_0045829091.html） 1519然后看到如下的创建桶界面，区域选择“中国华北区1”，桶名称为可以自行制定，我就直白的写成“qunhuibackup”，存储类型选择“标准存储”，然后点击“创建桶”。 创建桶完成后，我们就可以在对象存储服务中看到我们新创建桶的信息了。 1520单机桶名称，就可以进入查看到详细的桶属性信息：1521 创建Access Key（AK）和 Secret Key（SK）华为云为了账号密码的安全，和更灵活的权限管理，使用了AK/SK 凭证机制，所以我们在使用前需要创建AK/SK。 我们在页面右上角单击账号，在下拉菜单单击“我的凭证”，进入凭证设置界面： 1523在凭证设置界面，首先请确认“已验证手机”号码的正确性，这里需要通过手机收取验证码。确认手机号正确后，请点击“新增访问密钥”，然后按照指示完成密钥创建。15221524 创建好密钥后，请保存好你的访问密钥ID（Access Key/AK）和安全ID（Secret Key/SK）,后面在群晖上配置的时候需要使用。 使用Synology对接OBS1.首先打开群晖的套件中心，安装群晖的“Cloud Sync”插件，安装完成后并点击“打开”，运行该插件。 1525 15262.在Cloud Sync的初始配置界面，选择“S3存储器”，点击“下一步” 1527 3.选择S3服务器为“自定义服务器URL”，在服务器地址栏输入华为OBS服务器域名（域名见下表）；在“Access key”中，输入之前创建的AK；在“Secret key”，输入之前创建的SK；然后单击“Bucket 名称” 栏，就会自动的列举出你在华为OBS服务下的可以访问的桶信息，这里我们选择之前已经创建好的“qunhuibackup”桶，然后点击“下一步”：1529 参考：华为OBS数据中心域名，建议选择全局域名。 15304.单击“本地路径”，选择本地群晖上需要备份的文件夹路径（这里要注明一下，通过群晖的USB接口外接的存储器如移动硬盘，U盘等，不能被选择为“本地路径”）：1531 5.单击“远程路径”，选择一个在华为OBS服务上的文件夹，如果需要，可以新创建一个：1532如果不是特别敏感的数据，建议不选择“数据加密”15331534 6.选择好以后确认设置信息是否正确，如果正确，就点击“应用”，然后就可以看到群晖已经启动了数据自动同步，并且可以看到同步状态。 153515367.最后，我们可以登录到华为OBS服务控制台，确认我们的数据已经同步上去。15371538 华为OBS服务收费标准本次，我们使用的是华为云的对象存储服务（OBS），为群晖进行数据同步和容灾备份。华为OBS服务主页http://www.hwclouds.com/product/obs.html 价格详情链接：http://support.hwclouds.com/pro_price/#mod_price_04此外还提供优惠套餐包，如下： 价格详情链接：http://support.hwclouds.com/pro_price/#mod_price_04 华为云账号注册路径：https://auth.hwclouds.com/authui/public/custom/register.html?locale=zh-cn&service=http://www.hwclouds.com/product/obs.html#/register）

s3cmd 是用于创建S3桶，上传，检索和管理数据到对象存储命令行实用程序。本文将指导安装s3cmd程序，以及对象存储服务桶和对象数据管理，包括创建桶、上传、检索、删除及本地与对象存储服务间数据同步等。本文以下内容将以CentOS7.3的弹性云服务器为例，windows操作系统也可参考。· 安装s3cmd安装setuptools:[root@ecs ~]# yum install python-setuptools安装wget:[root@ecs ~]# yum install wget获取s3cmd软件包:[root@ecs ~]# wget https://github.com/s3tools/s3cmd/archive/master.zip[root@ecs ~]# mv master.zips3cmd-master.zip安装s3cmd:[root@ecs ~]# unzip s3cmd-master.zip[root@ecs ~]# cd s3cmd-master[root@ecs ~]# python setup.py install · 配置s3cmd[root@ecs ~]# s3cmd --configureEnter new values or accept defaults inbrackets with Enter.Refer to user manual for detailed descriptionof all options. Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.#访问密钥，可参考http://support.hwclouds.com/usermanual-ca/zh-cn_topic_0046606340.html获取Access Key: ***************Secret Key: **************************************Default Region [US]: cn-north-1 Use "s3.amazonaws.com" for S3Endpoint and not modify it to the target Amazon S3.#对象存储服务接入地址，可参考http://support.hwclouds.com/devg-obs/zh-cn_topic_0071992461.html填写S3 Endpoint [s3.amazonaws.com]: obs.myhwclouds.com​Use "%(bucket)s.s3.amazonaws.com"to the target Amazon S3. "%(bucket)s" and "%(location)s"vars can be usedif the target S3 system supports dns basedbuckets.#此处%(bucket)s后缀域名与endpoint填写保持一致DNS-style bucket+hostname:port template foraccessing a bucket [%(bucket)s.s3.amazonaws.com]: %(bucket)s.obs.myhwclouds.com Encryption password is used to protect yourfiles from readingby unauthorized persons while in transfer toS3#依赖于gpg工具进行本地文件加密，如果不需要可以回车直接跳过Encryption password: ******** Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol allcommunication with Amazon S3servers is protected from 3rd partyeavesdropping. This method isslower than plain HTTP, and can only beproxied with Python 2.7 or newer#客户端与对象存储服务是否采用https加密协议Use HTTPS protocol [Yes]: yes On some networks all internet access must gothrough a HTTP proxy.Try setting it here if you can't connect toS3 directlyHTTP Proxy server name: New settings: Access Key: *************** Secret Key: ************************************** Default Region: cn-north-1 S3 Endpoint: obs.myhwclouds.com DNS-style bucket+hostname:porttemplate for accessing a bucket: %(bucket)s.obs.myhwclouds.com Encryption password: ******** Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0 Test access with supplied credentials?[Y/n] yPlease wait, attempting to list allbuckets...Success. Your access key and secret keyworked fine :-) Now verifying that encryption works...Success. Encryption and decryption workedfine :-) Save settings? [y/N] yConfiguration saved to '/root/.s3cfg' --s3cmd会在本地用户home目录下生成".s3cfg"配置文件，后续修改也可直接编辑修改.s3cfg配置文件中参数值 · 使用s3cmd命令s3cmd配置完成后，即可使用命令管理对象存储服务1.列出全部存储桶使用以下命令列出在您的对象存储服务中的所有桶。 [root@ecs~]# s3cmd ls 2.创建新桶要在对象存储服务中创建新桶，如创建为mybucket桶。 [root@ecs~]# s3cmd mb s3://mybucket 3. 上传文件到S3桶 以下命令将使用s3cmd命令上传文件test.txt的到mybucket桶。 [root@ecs~]# s3cmd put test.txt s3://mybucket/ 4.上传文件夹到s3桶如果我们需要上传整个目录使用-r递归上传，像下面这样。 [root@ecs~]# s3cmd put -r backup s3://mybucket/ 如果上次目录结尾带有‘/’ （如：backup/），将只上传备份目录中的内容，不包含根文件夹。 [root@ecs~]# s3cmd put -r backup/ s3://mybucket/ 5.列出桶中存储数据使用ls列举桶中的对象。 [root@ecs~]# s3cmd ls s3://mybucket/ 6.从对象存储桶中下载文件如果我们需要从桶中下载文件，使用下面的命令来下载。 [root@ecs~]# s3cmd get s3://mybucket/test.txt 7.删除存储桶的数据要删除桶中的文件或者文件夹都是使用下面的命令。 [root@ecs~]# s3cmd del s3://mybucket/test.txt[root@ecs~]# s3cmd del s3://mybucket/backup 8.删除桶如果删除不需要的桶，可使用以下命令（删除时确保桶中无对象，否则删除失败） [root@ecs~]# s3cmd rb s3://mybucket 9.同步本地目录或文件到对象存储桶如果想把本地目录(如/home/mydir)同步到对象存储桶中(如s3://mybucket/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync /home/mydir/s3://mybucket/mydir/ 注意：不要忘了添加具有完整的目录路径指定S3存储桶时，尾随本地目录路径斜杠（/）。 为了保持保留文件属性，如日期/时间等使用 -p 或 -preserve 参数，如下图所示 [root@ecs~]# s3cmd sync /home/mydir/ --preserves3://mybucket/mydir/ 如果我们要同步源使用 –skip-existing参数仅新创建的文件。它会跳过已经存在的目的地或者其修改源的所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--skip-existing s3://mybucket/mydir/ 如果你想删除从S3桶已经从本地使用 –delete-removed 参数删除所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--delete-removed s3://mybucket/mydir/ 10.同步对象存储桶中对象到本地目录如果想把对象存储桶中(如s3://mybucket/mydir)所有对象同步到本地目录(如/home/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync s3://mybucket/mydir//home/mydir/ 当然也可以为以下从对象存储桶文件同步到本地目录中使用-preserve，–skip-existing 和 –delete-removed参数。 [root@ecs~]# s3cmd sync s3://mybucket/mydir/--preserve /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--skip-existing /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--delete-removed /home/mydir/

本帖最后由 小云妹妹 于 2017-9-8 16:22 编辑 1. 冷存储及其应用 存储类型的划分，根据用户的访问热度，可以分为冷存储，温存储，冷存储。对于冷存储，通常意味着不会经常被访问的数据，也或许永远不会被访问的数据，但还用户还是希望保留的数据。数据统计显示，全球信息中约85%的数据将会以冷存储的形式存在。冷存储适用于档案数据、医疗影像、视频素材、磁带替代、备份等领域，个人用户的一些不常访问的照片、视频，同样也可以归为冷存储这一类。这类数据具有访问频率低、存储量大、单位存储成本要求低等特点。随着存储的在线化，存储也越来越要求可随时访问。例如法律电子取证要求已存档的数据必须在特定的时间范围内可用。因此，这就要求存储服务提供商以及企业必须确保数据的完整性，以及及时的访问权限。 2. 冷存储的私有云方案 冷存储概念在2014年开始热起来，近年大型存储供应商都陆续针对冷存储提供了私有云的解决方案，目前国内的主流存储供应商都提供有私有云的存储解决方案，如华为、浪潮、联想等。 冷存储的核心思路是企业将计算分析业务与数据存储业务分离，当存储服务器的硬件资源主要用于数据存储，数据块为大块数据时，将这些不常访问的“冷”数据，如果我们能把他们迁移到一个专为冷数据而设计的低成本存储层中，将能大幅降低费用。 私有云虽然解决了冷存储的大部分问题，但正如传统模式一样，在没有真正云化的本质下，面临着这样的一些问题： 特别是新兴企业，在面对未来的不确定性，存储的私有云解决方案确实不能算是个完美的解决方案，一方面私有云的固定成本加重了新兴企业的Capex负责，另一方面，复杂的运维管理也对企业的技术管理提出了挑战。 3. 冷存储的新趋势 公有云存储解决方案很好的解决了这个问题，使用华为云的对象存储服务，真正实现了存储的云化（在线、按需、实时），总结起来有以下7点好处：1) 没有大笔硬件开支：公有云按量按时付费，不需要大笔硬件开支；2) 省去了维护成本：因为不涉及到设备维护，不需要培养相关的技术人员；3) 省去了设备占地：因为不需要设备，不需要专门的机方进行放置；4) 高可靠性：华为云的公有云存储，实现了11个9的可靠性保障；5) 无冗余：存储按需分配，需要用多少再买多少；6) 无限扩容：海量数据，按需扩容；7) 不间断服务：存储设备需要相应的升级带来业务中断； 近期，华为云对象存储更是根据不同需求提供了针对性的解决方案。 华为的标准存储对应的是热存储，价格为0.159/GB/月；低频访问存储对应的是温存储，价格为0.08/GB/月；归档存储对应的是冷存储价格为0.033/GB/月。可以看到，针对冷存储数据，针对性的选择产品，可以大大的将成本降低不到一半的水平。 综合华为在存储领域的品质积累，个人用户及企业用户在遇到冷存储的需求时，建议考虑选择华为云对象存储OBS的冷存储产品。 华为公有云存储产品价格详情： http://support.hwclouds.com/pro_price/#mod_price_04 立即体验华为云

现在有20T数据，对安全有要求，但不高，是不是选哪个都可以，对象存储好像便宜些。什么时候选云硬盘，什么时候选择对象存储啊？ 求大神指教！

本帖最后由 华为云存储 于 2018-3-20 16:53 编辑更新： 现在可以直接通过云市场或者ECS的【市场镜像-商业软件-存储与备份】直接一键部署Owncloud了！ https://app.huaweicloud.com/product/00301-70090-0--0----------------------------------------------------------------------------------------------------------------------- Owncloud作为一款可以免费使用的网盘，客户端支持平台惊人多。 安装步骤可以参考http://www.jianshu.com/p/b42453959fae ,不赘述 在Owncloud上挂华为云对象存储的步骤也十分简单（这里以Owncloud10.1为例） 676 在管理-存储 中勾选 【Enable external storage】并按照图示填入这几项即可 完成后即可在网盘首页看到OBS对象存储的目录 677

本帖最后由 华为云存储 于 2017-11-20 09:30 编辑在上一篇教程中已经介绍了如何使用S3fs来挂载对象存储OBS， 这一篇教程教你怎样将OBS作为Discuz!论坛上的图片视频的存储，成为价廉物美的图床。 首先，请先按照教程安装好S3fs（http://forum.hwclouds.com/forum. ... =206&extra=page%3D1） Discuz! 论坛默认支持通过FTP的方式上传远程附件，自然能够想到在S3fs的基础上，加上一个简单的FTP服务器(无须对公网开放FTP端口)。 总体是这么个架构： 454 这里以CentOS7下的vsftpd为例 安装vsftpd: [code]sudo yum install vsftpd[/code]在/etc/vsftpd/vsftpd.conf中加入以下行，用于设置FTP默认目录为你的文件上传目录（也是OBS桶映射到的目录）： [code]local_root=/你的/s3fs/挂载点路径[/code]并修改: [code]userlist_enable=NO[/code]将/etc/vsftpd/ftpusers黑名单文件中需要访问FTP的用户名去除 -------------这里是重点------------ 为了让桶中的文件可以让用户直接访问到，需要修改桶策略！！ 为了让桶中的文件可以让用户直接访问到，需要修改桶策略！！ 为了让桶中的文件可以让用户直接访问到，需要修改桶策略！！ 重要的事情说三遍！ 请从OBS 控制台进到具体桶的设置这个位置： 5062 这样配置， 此桶中的图片即可被所有用户访问（即桶权限配置成了允许公共读） -------------这里是重点------------ 接下来只需要在Discuz!论坛中进行如下设置 1. 进入右上角【管理中心】 4442. 顶部tab选择【全局】 446 3. 左侧栏选择【上传设置】 447 4. 上方tab选择【远程附件】 4485. 进行配置 449 451 450 如果你不知道如何获取OBS对象地址，参考下方OBS控制台截图： 452 以上配置完成后，论坛上传的图片就能直接到OBS了！ 453

一张图介绍华为云OBS包年包月套餐 {:2_37:} 275

本帖最后由 对象存储 于 2017-8-22 19:07 编辑OBS {:2_25:} 273

   S3fs是一款基于FUSE的文件系统适配器，通过S3fs能够使对象存储直接挂载到ECS虚拟机，如云硬盘一般使用，非常的方便。本教程教你如何在Linux系统上使用S3fs首先需要在操作系统上装好S3fs需要的依赖包。对于Ubuntu 14.04，执行：[code]sudo apt-get install automake autotools-dev fuse g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config[/code]对于CentOS7，执行：[code]sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel[/code]而对于CentOS6.5，需要手动更新fuse包，到libfuse 2.8.4。安装依赖完成后，接着安装S3fs本体：[code]git clone https://github.com/s3fs-fuse/s3fs-fuse.gitcd s3fs-fuse./autogen.sh./configuremakesudo make install[/code]为了能够对接上OBS对象存储服务，你还需要配置上你的AK（Access Key）和SK（Secret Key）到S3fs的配置文件中，使用以下命令：[code]sudo echo 你的AK:你的SK > /etc/passwd-s3fssudo chmod 600 /etc/passwd-s3fs[/code]至此安装和配置完成，可以开始使用。例如我们将S3fs挂载到 /mnt/yourname 这个目录，本例中OBS的域名为（obs.myhwclouds.com），注意你的桶的OBS域名是否匹配。[code]s3fs 你的桶名 /mnt/yourname -o url=http://obs.myhwclouds.com -o passwd_file=/etc/passwd-s3fs[/code]至此，S3fs挂载完成。-----------分割线--------------上文讲了基本的挂载方式， 如果对性能有极致要求，下面有一些参数优化请参考-o allow_other本参数用于设置挂载目录可以被任意登陆服务器的用户使用，且可以将该挂载目录用于创建NFS/SMB共享。-o max_write本参数用于设置vfs的上传块大小，默认值为4096，可将该数值设置为fuse所支持的最大值128k（即设置-o max_write=131072），以提升性能。-o use_cache使用内存作为缓存目录，而非本地磁盘作为cache将提升文件读写性能，即将该值设置为-o use_cache=/dev/shm。如果系统内存使用较高则建议另外挂载一个SSD盘作为缓存目录。-o enable_noobj_cache使用本参数后，将减少s3fs发送的列举桶的请求，从而提升性能。-o big writes开启本参数后，内核会进行IO合并，对于大块读写，提升性能。-o sigv2缺省值为采用V4鉴权，使用V2鉴权效率更高，兼容性更好。-o del_cache文件使用完成后及时清理缓存中的数据。-o multipart_size(default="10"(10MB))设定上传是单个分段的大小，缺省值为10MB，按照对象存储支持最大1万个分段，最大支持上传约98GB的对象。如果待上传的文件大小超过100,000MB，则需要调大该参数，最大支持5120单位为MB（对象存储支持单个分片最大5GB）关于S3fs，这里还有另一篇文章可以参考：https://bbs.huaweicloud.com/forum/thread-11650-1-1.html