1、搬迁本地数据至OBS 如何短时间、低成本、安全、高效的将本地数据搬迁至OBS？根据数据量、耗时、费用等需求，OBS提供了5种搬迁方式，【了解一下】？ 2、迁移其他云服务厂商数据至OBS 想使用华为云OBS的海量存储能力，但数据在其他云厂商对象存储上，采用普通的下载上传方式费时费力。单击【这里】选择一种简单的方式吧~ 3、使用备份软件实现本地数据备份至OBS 传统的备份方案存在系统复杂、投入成本高等诸多弊端，选择合适的备份软件，将本地数据备份至OBS，以降低成本，保障备份数据的安全。详情请戳【这里】。 4、在ECS上通过内网访问OBS ECS默认通过公网方式访问OBS，公网方式响应速度会因为网络质量而受到影响，读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支，您可以试着【在ECS上通过内网访问OBS】。 5、使用自定义域名托管静态网站 OBS提供默认的托管静态网站域名，而自定义域名托管静态网站需要进行哪些操作？请参阅【使用自定义域名托管静态网站】。OBS最佳实践，更多详情：https://bbs.huaweicloud.com/forum/thread-9385-1-1.html常用解决方案说明和教程：A、Web建站：a)  基于华为云OBS搭建Discuz论坛案例：http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=275&extra=page%3D1B、企业云盘(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1090&highlight=%E4%BC%81%E4%B8%9A%E4%BA%91%E7%9B%98)：a) 云盘SaaS服务：按需购买，即买即用；中软国际解放云盘购买地址：https://market.huaweicloud.com/product/00301-102172-0--0b) 基于行业TOP网云软件Anyshare搭建企业云盘  华为云市场镜像地址：https://app.hwclouds.com/product/00301-52074-0--0c)基于华为云搭建Nextcloud免费云盘对接教程： http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1001&extra=page%3D1，华为云市场镜像地址：https://app.hwclouds.com/product/00301-51068-0--0d)基于华为云搭建Owncloud免费云盘对接教程： http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=350&highlight=owncloud，华为云市场镜像地址：https://app.hwclouds.com/product/00301-50053-0--0C、备份归档(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1091&highlight=%E5%A4%87%E4%BB%BD)：a) 行业TOP备份软件CommVault 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-46072-0--0b) 行业TOP备份软件Anybackup 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-50025-0--0Linux虚拟机直接挂载OBS指导教程：a)   S3fs http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=206&highlight=s3fsb)   Goofys http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1037&highlight=s3fs OBS常用资料链接：1.     服务器后台直接对接OBS的SDK http://developer.huaweicloud.com/sdk.html2.     OBS最新的价格详情 ： 3134    

goofys是Google 云开源出来的基于go的文件系统挂载对象存储桶的一个工具，此工具从官方宣传是要比s3fs高一些。自己实际cp 一些目录发现速度要好一些。现在分享出来供大家参考。本文以Ubuntu系统举例进行说明。整个工具安装过程为 安装golang---->下载goofys源码---->下载goofys依赖包--->安装goofys---->挂载文件系统----->使用。1.安装golangubuntu是目前使用最多的Linux桌面系统，使用apt-get命令来管理软件包，我们可以通过下面的命令来安装Go，为了以后方便，应该把 git mercurial 也安装上：sudo apt-getinstall python-software-propertiessudo add-apt-repository ppa:gophers/gosudo apt-get updatecdsudo apt-get install golang-stable git-core mercurial下载go语言包能够通国外网站的使用下面网站下载：wget https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz否则可以使用下面地址，下载速度有点慢，有找到其他更快的地址，或者使用工具下载到本地后再传上去也可以。wget https://golangtc.com/static/go/1.9.1/go1.9.1.linux-amd64.tar.gz wget https://dl.gocn.io/golang/1.9/go1.9.linux-amd64.tar.gz            //此地址要快些直接解压sudo tar -xzfgo1.9.1.linux-amd64.tar.gz -C /usr/local 配置环境变量:export GOROOT=/usr/local/goexport GOBIN=$GOROOT/binexport PATH=$PATH:$GOBIN或者使用:sudo vim/etc/profile 并添加下面的内容：export GOROOT=/usr/local/goexport GOBIN=$GOROOT/binexport PATH=$PATH:$GOBIN重新加载 profile 文件source /etc/profile 测试安装是否成功，直接执行 go version27282.下载goofys直接使用我编译好的goofys 然后放到 $GOBIN目录下就可以安装。cd /usr/local/go/binwget https://github.com/kahing/goofys/releases/latest/download/goofys 或者wget https://obs-tools.obs.cn-north-1.myhuaweicloud.com/obsFuse/goofyschmod +x goofys这样很简单吧，很快就装好了。我第一次编译包可是费了很大劲验证安装成功， 执行goofys --version可以显示版本信息证明成功27295.挂载文件系统配置认证密钥vi root/.aws/credentials   //这儿可以使用一个比较不易访问的目录保证安全性[default]aws_access_key_id = AKID123456**0aws_secret_access_key = MY-SECRET-KEYAK sk的获取参考下面的地址：http://support.huaweicloud.com/api-dis/zh-cn_topic_0058207000.html创建一个空目录，比如 mkdir /home/obs-goofys-c登录OBSconsole上创建一个空桶，比如说 goofys-huawei，小白可以去华为云搜索帮助。使用goofys进行挂载，挂载地址选择华为云  华北1区的region地址goofys --profile root/.aws/credentials --endpoint https://obs.cn-north-1.myhwclouds.com --region cn-north-1 goofys-huawei   /home/obs-goofys-c或者：goofys --endpoint https://obs.cn-north-1.myhwclouds.com --region cn-north-1 goofys-huawei   /home/obs-goofys-c创建后可以通过df -h 可以查看有一个 文件系统名称为goofys-huawei的挂载点。2730可以在fstab中添加配置解决重启后挂载丢失的问题。goofys#bucket   /mnt/mountpoint        fuse    _netdev,allow_other,--file-mode=0666   0       0以上信息 参考网址如下，一并列举出来，方便大家查询https://github.com/kahing/goofyshttps://github.com/astaxie/build-web-application-with-golang/blob/master/zh/01.1.mdhttps://golangtc.com/downloadhttps://dl.gocn.io/======================================end===============================================================================================番外篇如果有人喜欢自己编译一个goofys包，那么如果从源码进行安装呢，下面给出一些步骤，供大家参考选择一个goofys安装目录建议在/root/go,然后下载goofys源码git clone https://github.com/kahing/goofys.gitmkdir /usr/local/go/src/github.com/kahing/cp -r goofys/usr/local/go/src/github.com/kahing/执行编译，编译会产生错误，提示有很多依赖包没有安装go build -o goofys main.go依赖包的安装：有两个依赖包，一个是在github.com,一个在golang.org。 从https://github.com/golang/ 路径下可以找到golang.org类的包。从https://github.com/sevlyar 可以找到github.com缺少的一些包。使用git clone方式全面download下来就可以使用cd /usr/local/go/src/mkdir github.com$ cd $GOPATH/src$ mkdir golang.org$ cd golang.org$ mkdir x$ cd xgit clone https://github.com/jacobsa/fuse.gitgit clone https://github.com/sevlyar/go-daemon.git我自己讲所有的依赖包都上传到对象存储的桶里面，允许匿名访问可以通过wget下载wget https://charles-goofys.obs.myhwclouds.com/github.com.zipwget https://charles-goofys.obs.myhwclouds.com/golang.org.zip下载后直接解压到 /usr/local/go/src/ 下就可以。安装goofys执行编译go build -o goofys main.go执行之后会产生一个goofys的文件，cp此文件到$GOPATH/bin下面，创建一个连接可以直接使用goofysln-s /$GOPATH/bin/goofys/usr/bin/goofys验证安装成功， 执行goofys --version可以显示版本信息证明成功

本帖最后由 华为云存储 于 2018-3-20 16:53 编辑更新： 现在可以直接通过云市场或者ECS的【市场镜像-商业软件-存储与备份】直接一键部署Nextcloud了！ https://app.huaweicloud.com/product/00301-70091-0--0 ----------------------------------------------------------------------------------------------------------------------- 2618 Nextcloud是一个完全开源的网盘系统， 能够实现在线办公、文件共享等常用企业合作功能，并具备灵活扩展的能力。 Nextcloud对接对象存储OBS可以最大化地降低存储成本，并让网盘空间能够灵活扩展 对接对象存储OBS的操作步骤如下： 2619 2620

本帖最后由 yd_2012_bpc 于 2018-1-10 11:16 编辑往OBS的桶里上传的对象是一个图片(*.jpg)或者是一个视频(*.mp4)时，在浏览器中输入OBS提示的对象下载地址时（通过bucketpolicy开放给匿名用户访问），浏览器会自动打开图片或者播放视频。如何做到将图片或者视频下载到本地，而不被浏览器打开呢？ 浏览器直接图片： 通过OBS console上传的图片，提示图片下载地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpg，浏览器输入该地址后，会直接打开。如果需要浏览器输入链接后，就能直接下载该图片（视频）则可以在OBS提示的地址后面加上一个参数‘response-content-disposition=attachment’，即，即浏览器中输入地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpy?response-content-disposition=attachment就可以下载该对象。 浏览器直接播放视频或打开图片： 通过OBS console上传的图片或者视频，使用浏览器打开该图片或者视频的地址时，默认是打开图片或者播放视频。如果通过API，则需要在上传对象接口中携带“Content-Type ： audio/mp4”(这里是mp4视频), 浏览器打开时就可以直接播放视频。

本帖最后由 华为云存储 于 2017-9-21 16:50 编辑原料： （1）首先你要有1个华为云账号用于使用OBS的资源（打个小广告，OBS按需付费）； （2）然后你要有1个网址转换为二维码的工具（so easy， 百度“二维码生成器”，然后可以搜到一大片） 关键词： 二维码，OBS，静态网站托管，桶策略 ------分割线（下面是步骤）------ 步骤： Step1： 登录华为云账号-》点击控制台-》登录对象存储界面； Step2： 创1个Bucket，名字叫qrcode 上传1个Object，名字叫helloworld.jpg 2113 Step3：（关键步骤，关键步骤，关键步骤，重要事情说三遍并且标红） 开启静态网站托管功能 2114 记录访问地址（吐槽一下，好像没法实时显示出来，要再点击一次才会显示）： 2115 https://qrcode.obs-website.cn-north-1.myhwclouds.com Step4：（换个姿势，敲黑板划重点） 设置Bucket策略（这里简单描述下Bucket策略是对整个Bucket进行策略设置，如果要Object级别的策略设置可以用ACL） 2116 代码如下（把qrcode这个桶名换成你需要的桶名即可）[code]{ "Version":"2012-10-17", "Statement":[ { "Sid":"AddPerm", "Effect":"Allow", "Principal":{ "AWS":[ "*" ] }, "Action":[ "s3:GetObject" ], "Resource":[ "arn:aws:s3:::qrcode/*" ] } ] } [/code] Step5： 拼接网址生成二维码 域名（From Step3）：https://qrcode.obs-website.cn-north-1.myhwclouds.com 对象名：helloworld.jpg 那么网址就是：https://qrcode.obs-website.cn-north-1.myhwclouds.com/helloworld.jpg Step6: 百度一个二维码生成器把网址生成二维码即可 2117 PS： 下图是二维码 2118 二维码没法通过微信扫描到，但是QQ、支付宝、UC浏览器均可实现 斌仔推测应该是微信对域名有校验，因为木有一个备案的域名备案，所以会限制 解决方法： 找一个备案的域名，用华为云的域名解析服务，然后将真实域名指向https://qrcode.obs-website.cn-north-1.myhwclouds.com

本帖最后由 华为云存储 于 2017-9-20 11:41 编辑私有的Docker镜像会占用企业较大的存储空间，且内容重要，不容丢失。 对象存储则是最适合存放这类文件的平台。 Docker的官方文档： docker官方文档 这里给出使用Ubuntu 16.04 LTS版本搭建docker镜像源 并用华为云对象存储进行托管的方案: 使用harbor搭建docker registry，请参考CSDN这篇文章 使用S3fs来对接OBS， 需要安装并配置S3fs， 安装过程请参考华为云论坛这篇文章：【教程】使用S3fs让ECS虚拟机直接挂载OBS对象存储桶 在安装的harbor目录下配置docker-compose.yml文件： 1946 /mnt/res是在3.2中配置s3fs时的关联OBS桶的本地目录。也可以指定其他目录，但是必须与3.2中配置s3fs中的挂载地址一致。配置完毕后，在harbor目录下：[code]docker-compose up –d[/code]示例：[code]root@ubuntu:~/harbor/harbor# docker-compose up –d[/code] 至此安装结束，上传已有的镜像即可看到镜像已经存入了华为云对象存储OBS中： [code]docker push your-image-name[/code]示例： [code]docker push 10.0.0.3/test/swarm[/code]

使用华为云对象存储服务存储Git仓库 1 预置条件 已有Git 服务器，并且支持通过仓库配置仓库地址。 2 使用步骤 1. Git服务器安装S3FS apt-get install s3fs 2. 创建桶 http://support.hwclouds.com/qs-obs/zh-cn_topic_0045829030.html 3. 修改git 配置为一个不存在的目录，并重启服务。 root@ubuntu:~# cat /etc/gitlab/gitlab.rb |grep git_data_dirs git_data_dirs({ "default" => { "path" => "/mnt/git-data1", ´gitaly_address´ => ´unix:/var/opt/gitlab/gitaly/gitaly.socket´ } }) root@ubuntu:~# gitlab-ctl stop root@ubuntu:~# gitlab-ctl reconfigure 提示：挂在前不要迁移数据，否则s3fs 无法同步 root@ubuntu:~# gitlab-ctl start 查看新目录的权限 root@ubuntu:/mnt# ls /mnt -al | grep git-data1 drwx------ 3 git root 4096 Se 4. 挂载桶到指定目录，并赋予git 用户权限： 将有已有的AK、SK密钥文件，并修改权限为600，例如： root@ubuntu:~# vim etcpassword-s3fs(input AKSK) root@ubuntu:~# chmod 600 etcpass root@ubuntu:~# cat /etc/password-s3fs 查询git 用户的用户ID： root@ubuntu:~# cat /etc/passwd | grep git gitlab:x:1000:1000:gitlab,,,:/home/gitlab:/bin/bash gitlab-www:x:999:999::/var/opt/gitlab/nginx:/bin/false git:x: 998:998::/var/opt/gitlab:/bin/sh 指定域名将桶挂载到指定目录： root@ubuntu:s3fs dfv01 /mnt/git-data1 -o url=http://www.hwclouds.com/ -o passwd_file=/etc/password-s3fs -o connect_timeout=20 -o default_acl=public-read-write -o nonempty -o -d -o rw,allow_other,uid=998,gid=998 确保挂载有效，目录可以访问 root@ubuntu:/mnt/git-data1# ll total 12 drwx------ 3 git root 4096 Sep 4 23:20 ./ drwxrwxrwx 5 root root 4096 Sep 5 01:56 ../ drwxrws--- 5 git root 4096 Sep 5 02:34 reposit 5. 迁移已有工程目录到新的仓库： root@ubuntu:~# sudo rsync -av /var/opt/gitlab/git-data/repositories /mnt/git-data1/ 6. 重启数据库，如果configure 数据库失败，需要先umount root@ubuntu:~#gitlab-ctl stop root@ubuntu:~#gitlab-ctl reconfigure 7. 清除缓存，否则会找不到历史数据： root@ubuntu:~# redis-cli 127.0.0.1:6379> flushall OK root@ubuntu:~#gitlab-ctl start 3 常见问题 1. 挂载目录不能访问 原因1： 域名不通 原因2： 不具备Https 证书 原因3： 密钥文件内容或权限不正确 2. 访问历史工程返回404 原因1：检查步骤7中是否清除缓存 3. 创建新工程返回500 原因1：检查挂载后的目录对git 用户是否有访问权限 原因2：检查挂载目录是否可以访问

块存储 就好比硬盘一样, 直接挂在到主机, 一般用于主机的直接存储空间和数据库应用(如: mysql)的存储 分2中形式: [*]DAS: 一台服务器一个存储, 多机无法直接共享, 需要借助操作系统的功能, 如共享文件夹 [*]SAN: 金融电信级别, 高成本的存储方式, 涉及到光纤和各类高端设备, 可靠性和性能都很高, 除了贵和运维成本高, 基本都是好处 * 云存储的块存储: 具备SAN的优势, 而且成本低, 不用自己运维, 且提供弹性扩容, 随意搭配不同等级的存储等功能, 存储介质可选普通硬盘和SSD 文件存储 与较底层的块存储不同, 上升到了应用层, 一般指的就是 NAS ,一套网络储存设备, 通过TCP/IP进行访问, 协议为NFSv3/v4由于通过网络, 且采用上层协议, 因此开销大, 延时肯定比块存储高 一般用于多个云服务器共享数据, 如服务器日志集中管理, 办公文件共享 对象存储 具备块存储的高速以及文件存储的共享等特性, 较为智能, 有自己的CPU, 内存, 网络和磁盘, 比块存储和文件存储更上层, 云服务商一般提供用户文件上传下载读取的Rest API, 方便应用集成此类服务

易用上云－华为云对象存储服务应用系列②--ElasticSearch归档基本介绍ElasticSearch支持对数据进行快照，然后把快照归档到S3对象存储、共享NAS等存储服务中。OBS是与亚马逊AWS S3兼容的，ElasticSearch同样能把快照数据归档到OBS上。配置指导下面就来介绍一下怎么通过repository-s3插件将Elasticsearch快照数据归档到OBS上1. 安装repository-s3插件Elasticsearch官网提供了安装指导：https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3.html注意：repository-s3的版本要和Elasticsearch的版本配套。这里使用的Elasticsearch、repository-s3的版本都是5.5.2。一开始用ES版本是5.5.0，安装5.5.2版本的repository-s3失败：1763版本配套，安装成功：1764这里把插件安装包直接下载到本地进行安装的，在线安装可以参考上面官网的安装指导。安装成后在es的plugins目录下可以看到安装成功的插件1765ES集群里面所有节点都要安装repository-s3插件2. 配置快照仓库a) 预置条件：在华为云上开通OBS对象存储服务，拿到OBS的AK/SK，在OBS里创建归档快照用的桶，我创的桶是esbucket。OBS门户：http://www.hwclouds.com/product/obs.htmlb) 参照ES官网的指导，配置快照仓库，json格式如下：1766Region：由于这里对接的是OBS对象存储服务，这里不要配置region信息，插件里填了region后，插件会强制把endpiont改成AWS的域名；Endpoint：对接到OBS对象存储服务endpoint必须要填，根据桶的位置，填写桶所在区域对应的OBS对象存储服务的域名；Protocol：我这里测试用的是http，OBS是支持https的；https比http要复杂一点，需要从OBS服务端下载https证书；ES官网里还介绍了其他配置参数，可以根据自己的实际需求做配置：https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3-repository.html c) 开启仓库这里使用curl命令给ES发请求来打开仓库，当然也可以使用ES的SDK来开启：1767可以查询当前打开的仓库：1768这里创建了2个仓库：17693. 备份快照触发ES执行快照归档：url -X PUT http://127.0.0.1:9200/_snaps**/my_s3_repository/snaps**_3?wait_for_completion=true1770归档成功：1771使用OBS Browser查看esbucket桶里的数据：1773OBS Browser下载链接：http://developer.hwclouds.com/tools/obs.html4. 恢复快照：1774 1775

本帖最后由 objectflying 于 2017-9-16 22:50 编辑易用上云-华为云对象存储服务应用系列①Cloud Sync备份 对象存储服务是一种高可靠、高性能、高安全的海量云存储服务，主要应用在备份归档、大数据分析、WEB/Mobile以及网盘应用等场景，是公有云上数据的最终汇聚点，提供99.999999999%（11个9）的数据持久性， 99.99%可用性，10ms稳定时延，支持标准存储、低频访问存储和归档存储三种存储类别，可基于生命周期管理策略实现数据自动转储，可以大大节省用户的使用成本，可以通过Cloud Sync与OBS服务间无缝同步数据。测试数据准备首先需要创建桶，登录华为云华为云OBS服务控制台https://storage.hwclouds.com/obs/，进去后可以看到你的OBS服务下所有桶信息，我们这里为群晖专门创建一个备份数据桶，单击右上角的“创建桶”按钮：1518 （“桶”是对象存储服务的存储的容器名称，桶里面管理的是存储的对象，关于桶的介绍，可以看这里：http://support.hwclouds.com/productdesc-obs/zh-cn_topic_0045829091.html） 1519然后看到如下的创建桶界面，区域选择“中国华北区1”，桶名称为可以自行制定，我就直白的写成“qunhuibackup”，存储类型选择“标准存储”，然后点击“创建桶”。 创建桶完成后，我们就可以在对象存储服务中看到我们新创建桶的信息了。 1520单机桶名称，就可以进入查看到详细的桶属性信息：1521 创建Access Key（AK）和 Secret Key（SK）华为云为了账号密码的安全，和更灵活的权限管理，使用了AK/SK 凭证机制，所以我们在使用前需要创建AK/SK。 我们在页面右上角单击账号，在下拉菜单单击“我的凭证”，进入凭证设置界面： 1523在凭证设置界面，首先请确认“已验证手机”号码的正确性，这里需要通过手机收取验证码。确认手机号正确后，请点击“新增访问密钥”，然后按照指示完成密钥创建。15221524 创建好密钥后，请保存好你的访问密钥ID（Access Key/AK）和安全ID（Secret Key/SK）,后面在群晖上配置的时候需要使用。 使用Synology对接OBS1.首先打开群晖的套件中心，安装群晖的“Cloud Sync”插件，安装完成后并点击“打开”，运行该插件。 1525 15262.在Cloud Sync的初始配置界面，选择“S3存储器”，点击“下一步” 1527 3.选择S3服务器为“自定义服务器URL”，在服务器地址栏输入华为OBS服务器域名（域名见下表）；在“Access key”中，输入之前创建的AK；在“Secret key”，输入之前创建的SK；然后单击“Bucket 名称” 栏，就会自动的列举出你在华为OBS服务下的可以访问的桶信息，这里我们选择之前已经创建好的“qunhuibackup”桶，然后点击“下一步”：1529 参考：华为OBS数据中心域名，建议选择全局域名。 15304.单击“本地路径”，选择本地群晖上需要备份的文件夹路径（这里要注明一下，通过群晖的USB接口外接的存储器如移动硬盘，U盘等，不能被选择为“本地路径”）：1531 5.单击“远程路径”，选择一个在华为OBS服务上的文件夹，如果需要，可以新创建一个：1532如果不是特别敏感的数据，建议不选择“数据加密”15331534 6.选择好以后确认设置信息是否正确，如果正确，就点击“应用”，然后就可以看到群晖已经启动了数据自动同步，并且可以看到同步状态。 153515367.最后，我们可以登录到华为OBS服务控制台，确认我们的数据已经同步上去。15371538 华为OBS服务收费标准本次，我们使用的是华为云的对象存储服务（OBS），为群晖进行数据同步和容灾备份。华为OBS服务主页http://www.hwclouds.com/product/obs.html 价格详情链接：http://support.hwclouds.com/pro_price/#mod_price_04此外还提供优惠套餐包，如下： 价格详情链接：http://support.hwclouds.com/pro_price/#mod_price_04 华为云账号注册路径：https://auth.hwclouds.com/authui/public/custom/register.html?locale=zh-cn&service=http://www.hwclouds.com/product/obs.html#/register）

s3cmd 是用于创建S3桶，上传，检索和管理数据到对象存储命令行实用程序。本文将指导安装s3cmd程序，以及对象存储服务桶和对象数据管理，包括创建桶、上传、检索、删除及本地与对象存储服务间数据同步等。本文以下内容将以CentOS7.3的弹性云服务器为例，windows操作系统也可参考。· 安装s3cmd安装setuptools:[root@ecs ~]# yum install python-setuptools安装wget:[root@ecs ~]# yum install wget获取s3cmd软件包:[root@ecs ~]# wget https://github.com/s3tools/s3cmd/archive/master.zip[root@ecs ~]# mv master.zips3cmd-master.zip安装s3cmd:[root@ecs ~]# unzip s3cmd-master.zip[root@ecs ~]# cd s3cmd-master[root@ecs ~]# python setup.py install · 配置s3cmd[root@ecs ~]# s3cmd --configureEnter new values or accept defaults inbrackets with Enter.Refer to user manual for detailed descriptionof all options. Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.#访问密钥，可参考http://support.hwclouds.com/usermanual-ca/zh-cn_topic_0046606340.html获取Access Key: ***************Secret Key: **************************************Default Region [US]: cn-north-1 Use "s3.amazonaws.com" for S3Endpoint and not modify it to the target Amazon S3.#对象存储服务接入地址，可参考http://support.hwclouds.com/devg-obs/zh-cn_topic_0071992461.html填写S3 Endpoint [s3.amazonaws.com]: obs.myhwclouds.com​Use "%(bucket)s.s3.amazonaws.com"to the target Amazon S3. "%(bucket)s" and "%(location)s"vars can be usedif the target S3 system supports dns basedbuckets.#此处%(bucket)s后缀域名与endpoint填写保持一致DNS-style bucket+hostname:port template foraccessing a bucket [%(bucket)s.s3.amazonaws.com]: %(bucket)s.obs.myhwclouds.com Encryption password is used to protect yourfiles from readingby unauthorized persons while in transfer toS3#依赖于gpg工具进行本地文件加密，如果不需要可以回车直接跳过Encryption password: ******** Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol allcommunication with Amazon S3servers is protected from 3rd partyeavesdropping. This method isslower than plain HTTP, and can only beproxied with Python 2.7 or newer#客户端与对象存储服务是否采用https加密协议Use HTTPS protocol [Yes]: yes On some networks all internet access must gothrough a HTTP proxy.Try setting it here if you can't connect toS3 directlyHTTP Proxy server name: New settings: Access Key: *************** Secret Key: ************************************** Default Region: cn-north-1 S3 Endpoint: obs.myhwclouds.com DNS-style bucket+hostname:porttemplate for accessing a bucket: %(bucket)s.obs.myhwclouds.com Encryption password: ******** Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0 Test access with supplied credentials?[Y/n] yPlease wait, attempting to list allbuckets...Success. Your access key and secret keyworked fine :-) Now verifying that encryption works...Success. Encryption and decryption workedfine :-) Save settings? [y/N] yConfiguration saved to '/root/.s3cfg' --s3cmd会在本地用户home目录下生成".s3cfg"配置文件，后续修改也可直接编辑修改.s3cfg配置文件中参数值 · 使用s3cmd命令s3cmd配置完成后，即可使用命令管理对象存储服务1.列出全部存储桶使用以下命令列出在您的对象存储服务中的所有桶。 [root@ecs~]# s3cmd ls 2.创建新桶要在对象存储服务中创建新桶，如创建为mybucket桶。 [root@ecs~]# s3cmd mb s3://mybucket 3. 上传文件到S3桶 以下命令将使用s3cmd命令上传文件test.txt的到mybucket桶。 [root@ecs~]# s3cmd put test.txt s3://mybucket/ 4.上传文件夹到s3桶如果我们需要上传整个目录使用-r递归上传，像下面这样。 [root@ecs~]# s3cmd put -r backup s3://mybucket/ 如果上次目录结尾带有‘/’ （如：backup/），将只上传备份目录中的内容，不包含根文件夹。 [root@ecs~]# s3cmd put -r backup/ s3://mybucket/ 5.列出桶中存储数据使用ls列举桶中的对象。 [root@ecs~]# s3cmd ls s3://mybucket/ 6.从对象存储桶中下载文件如果我们需要从桶中下载文件，使用下面的命令来下载。 [root@ecs~]# s3cmd get s3://mybucket/test.txt 7.删除存储桶的数据要删除桶中的文件或者文件夹都是使用下面的命令。 [root@ecs~]# s3cmd del s3://mybucket/test.txt[root@ecs~]# s3cmd del s3://mybucket/backup 8.删除桶如果删除不需要的桶，可使用以下命令（删除时确保桶中无对象，否则删除失败） [root@ecs~]# s3cmd rb s3://mybucket 9.同步本地目录或文件到对象存储桶如果想把本地目录(如/home/mydir)同步到对象存储桶中(如s3://mybucket/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync /home/mydir/s3://mybucket/mydir/ 注意：不要忘了添加具有完整的目录路径指定S3存储桶时，尾随本地目录路径斜杠（/）。 为了保持保留文件属性，如日期/时间等使用 -p 或 -preserve 参数，如下图所示 [root@ecs~]# s3cmd sync /home/mydir/ --preserves3://mybucket/mydir/ 如果我们要同步源使用 –skip-existing参数仅新创建的文件。它会跳过已经存在的目的地或者其修改源的所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--skip-existing s3://mybucket/mydir/ 如果你想删除从S3桶已经从本地使用 –delete-removed 参数删除所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--delete-removed s3://mybucket/mydir/ 10.同步对象存储桶中对象到本地目录如果想把对象存储桶中(如s3://mybucket/mydir)所有对象同步到本地目录(如/home/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync s3://mybucket/mydir//home/mydir/ 当然也可以为以下从对象存储桶文件同步到本地目录中使用-preserve，–skip-existing 和 –delete-removed参数。 [root@ecs~]# s3cmd sync s3://mybucket/mydir/--preserve /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--skip-existing /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--delete-removed /home/mydir/

查看入门资料，看了并不能快速入手，接口参考和开发者指南的指导作用很有限。比如说创建AK和SK，如何使用？如何在API调用中使用它们？ 另外，各种资料太多了，但其内容不具有指导性。 能否站在用户的角度上写一下如何使用对象存储这个产品？资料的易用性太差。

本帖最后由 yd_59241234 于 2017-9-11 20:41 编辑s3cmd 是用于创建S3桶，上传，检索和管理数据到对象存储命令行实用程序。本文将指导安装s3cmd程序，以及对象存储服务桶和对象数据管理，包括创建桶、上传、检索、删除及本地与对象存储服务间数据同步等。本文以下内容将以CentOS7.3的弹性云服务器为例，windows操作系统也可参考。· 安装s3cmd安装setuptools:[root@ecs ~]# yum install python-setuptools安装wget:[root@ecs ~]# yum install wget获取s3cmd软件包:[root@ecs ~]# wget https://github.com/s3tools/s3cmd/archive/master.zip[root@ecs ~]# mv master.zips3cmd-master.zip安装s3cmd:[root@ecs ~]# unzip s3cmd-master.zip[root@ecs ~]# cd s3cmd-master[root@ecs ~]# python setup.py install · 配置s3cmd 黑粗字体标示需要输入和编辑[root@ecs ~]# s3cmd --configureEnter new values or accept defaults inbrackets with Enter.Refer to user manual for detailed descriptionof all options. Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.#访问密钥，可参考http://support.hwclouds.com/usermanual-ca/zh-cn_topic_0046606340.html获取Access Key: ***************Secret Key: **************************************Default Region [US]: cn-north-1 Use "s3.amazonaws.com" for S3Endpoint and not modify it to the target Amazon S3.#对象存储服务接入地址，可参考http://support.hwclouds.com/devg-obs/zh-cn_topic_0071992461.html填写S3 Endpoint [s3.amazonaws.com]: obs.myhwclouds.com​Use "%(bucket)s.s3.amazonaws.com"to the target Amazon S3. "%(bucket)s" and "%(location)s"vars can be usedif the target S3 system supports dns basedbuckets.#此处只需修改 %(bucket)s 后缀域名与endpoint填写保持一致DNS-style bucket+hostname:port template for accessinga bucket [%(bucket)s.s3.amazonaws.com]: %(bucket)s.obs.myhwclouds.com Encryption password is used to protect yourfiles from readingby unauthorized persons while in transfer toS3#依赖于gpg工具进行本地文件加密，如果不需要可以回车直接跳过Encryption password: ******** Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol allcommunication with Amazon S3servers is protected from 3rd partyeavesdropping. This method isslower than plain HTTP, and can only beproxied with Python 2.7 or newer#客户端与对象存储服务是否采用https加密协议Use HTTPS protocol [Yes]: yes On some networks all internet access must gothrough a HTTP proxy.Try setting it here if you can´t connect toS3 directlyHTTP Proxy server name: New settings: Access Key: *************** Secret Key: ************************************** Default Region: cn-north-1 S3 Endpoint: obs.myhwclouds.com DNS-style bucket+hostname:porttemplate for accessing a bucket: %(bucket)s.obs.myhwclouds.com Encryption password: ******** Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0 Test access with supplied credentials?[Y/n] yPlease wait, attempting to list allbuckets...Success. Your access key and secret keyworked fine :-) Now verifying that encryption works...Success. Encryption and decryption workedfine :-) Save settings? [y/N] yConfiguration saved to ´/root/.s3cfg´ --s3cmd会在本地用户home目录下生成".s3cfg"配置文件，后续修改也可直接编辑修改.s3cfg配置文件中参数值 · 使用s3cmd命令s3cmd配置完成后，即可使用命令管理对象存储服务1.列出全部存储桶使用以下命令列出在您的对象存储服务中的所有桶。 [root@ecs~]# s3cmd ls 2.创建新桶要在对象存储服务中创建新桶，如创建为mybucket桶。 [root@ecs~]# s3cmd mb s3://mybucket 3. 上传文件到S3桶 以下命令将使用s3cmd命令上传文件test.txt的到mybucket桶。 [root@ecs~]# s3cmd put test.txt s3://mybucket/ 4.上传文件夹到s3桶如果我们需要上传整个目录使用-r递归上传，像下面这样。 [root@ecs~]# s3cmd put -r backup s3://mybucket/ 如果上次目录结尾带有‘/’ （如：backup/），将只上传备份目录中的内容，不包含根文件夹。 [root@ecs~]# s3cmd put -r backup/ s3://mybucket/ 5.列出桶中存储数据使用ls列举桶中的对象。 [root@ecs~]# s3cmd ls s3://mybucket/ 6.从对象存储桶中下载文件如果我们需要从桶中下载文件，使用下面的命令来下载。 [root@ecs~]# s3cmd get s3://mybucket/test.txt 7.删除存储桶的数据要删除桶中的文件或者文件夹都是使用下面的命令。 [root@ecs~]# s3cmd del s3://mybucket/test.txt[root@ecs~]# s3cmd del s3://mybucket/backup 8.删除桶如果删除不需要的桶，可使用以下命令（删除时确保桶中无对象，否则删除失败） [root@ecs~]# s3cmd rb s3://mybucket 9.同步本地目录或文件到对象存储桶如果想把本地目录(如/home/mydir)同步到对象存储桶中(如s3://mybucket/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync /home/mydir/s3://mybucket/mydir/ 注意：不要忘了添加具有完整的目录路径指定S3存储桶时，尾随本地目录路径斜杠（/）。 为了保持保留文件属性，如日期/时间等使用 -p 或 -preserve 参数，如下图所示 [root@ecs~]# s3cmd sync /home/mydir/ --preserves3://mybucket/mydir/ 如果我们要同步源使用 –skip-existing参数仅新创建的文件。它会跳过已经存在的目的地或者其修改源的所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--skip-existing s3://mybucket/mydir/ 如果你想删除从S3桶已经从本地使用 –delete-removed 参数删除所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--delete-removed s3://mybucket/mydir/ 10.同步对象存储桶中对象到本地目录如果想把对象存储桶中(如s3://mybucket/mydir)所有对象同步到本地目录(如/home/mydir)，只需执行以下一条命令即可同步所有文件： [root@ecs~]# s3cmd sync s3://mybucket/mydir//home/mydir/ 当然也可以为以下从对象存储桶文件同步到本地目录中使用-preserve，–skip-existing 和 –delete-removed参数。 [root@ecs~]# s3cmd sync s3://mybucket/mydir/--preserve /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--skip-existing /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--delete-removed /home/mydir/

本帖最后由 小云妹妹 于 2017-9-8 16:22 编辑 1. 冷存储及其应用 存储类型的划分，根据用户的访问热度，可以分为冷存储，温存储，冷存储。对于冷存储，通常意味着不会经常被访问的数据，也或许永远不会被访问的数据，但还用户还是希望保留的数据。数据统计显示，全球信息中约85%的数据将会以冷存储的形式存在。冷存储适用于档案数据、医疗影像、视频素材、磁带替代、备份等领域，个人用户的一些不常访问的照片、视频，同样也可以归为冷存储这一类。这类数据具有访问频率低、存储量大、单位存储成本要求低等特点。随着存储的在线化，存储也越来越要求可随时访问。例如法律电子取证要求已存档的数据必须在特定的时间范围内可用。因此，这就要求存储服务提供商以及企业必须确保数据的完整性，以及及时的访问权限。 2. 冷存储的私有云方案 冷存储概念在2014年开始热起来，近年大型存储供应商都陆续针对冷存储提供了私有云的解决方案，目前国内的主流存储供应商都提供有私有云的存储解决方案，如华为、浪潮、联想等。 冷存储的核心思路是企业将计算分析业务与数据存储业务分离，当存储服务器的硬件资源主要用于数据存储，数据块为大块数据时，将这些不常访问的“冷”数据，如果我们能把他们迁移到一个专为冷数据而设计的低成本存储层中，将能大幅降低费用。 私有云虽然解决了冷存储的大部分问题，但正如传统模式一样，在没有真正云化的本质下，面临着这样的一些问题： 特别是新兴企业，在面对未来的不确定性，存储的私有云解决方案确实不能算是个完美的解决方案，一方面私有云的固定成本加重了新兴企业的Capex负责，另一方面，复杂的运维管理也对企业的技术管理提出了挑战。 3. 冷存储的新趋势 公有云存储解决方案很好的解决了这个问题，使用华为云的对象存储服务，真正实现了存储的云化（在线、按需、实时），总结起来有以下7点好处：1) 没有大笔硬件开支：公有云按量按时付费，不需要大笔硬件开支；2) 省去了维护成本：因为不涉及到设备维护，不需要培养相关的技术人员；3) 省去了设备占地：因为不需要设备，不需要专门的机方进行放置；4) 高可靠性：华为云的公有云存储，实现了11个9的可靠性保障；5) 无冗余：存储按需分配，需要用多少再买多少；6) 无限扩容：海量数据，按需扩容；7) 不间断服务：存储设备需要相应的升级带来业务中断； 近期，华为云对象存储更是根据不同需求提供了针对性的解决方案。 华为的标准存储对应的是热存储，价格为0.159/GB/月；低频访问存储对应的是温存储，价格为0.08/GB/月；归档存储对应的是冷存储价格为0.033/GB/月。可以看到，针对冷存储数据，针对性的选择产品，可以大大的将成本降低不到一半的水平。 综合华为在存储领域的品质积累，个人用户及企业用户在遇到冷存储的需求时，建议考虑选择华为云对象存储OBS的冷存储产品。 华为公有云存储产品价格详情： http://support.hwclouds.com/pro_price/#mod_price_04 立即体验华为云

现在有20T数据，对安全有要求，但不高，是不是选哪个都可以，对象存储好像便宜些。什么时候选云硬盘，什么时候选择对象存储啊？ 求大神指教！