• [教程] 对象存储服务汇总帖
    1、搬迁本地数据至OBS如何短时间、低成本、安全、高效的将本地数据搬迁至OBS?根据数据量、耗时、费用等需求,OBS提供了5种搬迁方式,【了解一下】?2、迁移其他云服务厂商数据至OBS想使用华为云OBS的海量存储能力,但数据在其他云厂商对象存储上,采用普通的下载上传方式费时费力。单击【这里】选择一种简单的方式吧~3、使用备份软件实现本地数据备份至OBS传统的备份方案存在系统复杂、投入成本高等诸多弊端,选择合适的备份软件,将本地数据备份至OBS,以降低成本,保障备份数据的安全。详情请戳【这里】。4、在ECS上通过内网访问OBSECS默认通过公网方式访问OBS,公网方式响应速度会因为网络质量而受到影响,读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支,您可以试着【在ECS上通过内网访问OBS】。5、使用自定义域名托管静态网站OBS提供默认的托管静态网站域名,而自定义域名托管静态网站需要进行哪些操作?请参阅【使用自定义域名托管静态网站】。OBS最佳实践,更多详情:https://bbs.huaweicloud.com/forum/thread-9385-1-1.html常用解决方案说明和教程:A、Web建站:a)  基于华为云OBS搭建Discuz论坛案例:http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=275&extra=page%3D1B、企业云盘(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1090&highlight=%E4%BC%81%E4%B8%9A%E4%BA%91%E7%9B%98):a) 云盘SaaS服务:按需购买,即买即用;中软国际解放云盘购买地址:https://market.huaweicloud.com/product/00301-102172-0--0b) 基于行业TOP网云软件Anyshare搭建企业云盘  华为云市场镜像地址:https://app.hwclouds.com/product/00301-52074-0--0c)基于华为云搭建Nextcloud免费云盘对接教程: http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1001&extra=page%3D1,华为云市场镜像地址:https://app.hwclouds.com/product/00301-51068-0--0d)基于华为云搭建Owncloud免费云盘对接教程: http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=350&highlight=owncloud,华为云市场镜像地址:https://app.hwclouds.com/product/00301-50053-0--0 C、备份归档(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1091&highlight=%E5%A4%87%E4%BB%BD):a) 行业TOP备份软件CommVault 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-46072-0--0b) 行业TOP备份软件Anybackup 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-50025-0--0Linux虚拟机直接挂载OBS指导教程:a)   S3fs http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=206&highlight=s3fsb)   Goofys http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1037&highlight=s3fs OBS常用资料链接:1.     服务器后台直接对接OBS的SDK http://developer.huaweicloud.com/sdk.html2.     OBS最新的价格详情 :    
  • 公有云OBS多版本管理中的版本号是否可以提供自定义版本号。
    当前OBS服务中,多版本管理是一个比较吸引人的能力,但是当前多版本管理的版本号是随机生成的,并不能做到用户自定义管理,这个对用户使用有很大的弊端,是否可以增加自定义版本的特性。
  • 安装gooyfs进行文件系统挂载对象存储,性能优于s3fs
    goofys是Google 云开源出来的基于go的文件系统挂载对象存储桶的一个工具,此工具从官方宣传是要比s3fs高一些。自己实际cp 一些目录发现速度要好一些。现在分享出来供大家参考。本文以Ubuntu系统举例进行说明。整个工具安装过程为 安装golang---->下载goofys源码---->下载goofys依赖包--->安装goofys---->挂载文件系统----->使用。 1.安装golang ubuntu是目前使用最多的Linux桌面系统,使用apt-get命令来管理软件包,我们可以通过下面的命令来安装Go,为了以后方便,应该把 git mercurial 也安装上:sudo apt-getinstall python-software-propertiessudo add-apt-repository ppa:gophers/gosudo apt-get updatecdsudo apt-get install golang-stable git-core mercurial下载go语言包能够通国外网站的使用下面网站下载:wget https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz否则可以使用下面地址,下载速度有点慢,有找到其他更快的地址,或者使用工具下载到本地后再传上去也可以。wget https://golangtc.com/static/go/1.9.1/go1.9.1.linux-amd64.tar.gz wget https://dl.gocn.io/golang/1.9/go1.9.linux-amd64.tar.gz            //此地址要快些直接解压sudo tar -xzfgo1.9.1.linux-amd64.tar.gz -C /usr/local 配置环境变量:export GOROOT=/usr/local/goexport GOBIN=$GOROOT/binexport PATH=$PATH:$GOBIN或者使用:sudo vim/etc/profile 并添加下面的内容:export GOROOT=/usr/local/goexport GOBIN=$GOROOT/binexport PATH=$PATH:$GOBIN重新加载 profile 文件source /etc/profile 测试安装是否成功,直接执行 go version 2.下载goofys直接使用我编译好的goofys 然后放到 $GOBIN目录下就可以安装。cd /usr/local/go/binwget https://github.com/kahing/goofys/releases/latest/download/goofys 或者wget https://obs-tools.obs.cn-north-1.myhuaweicloud.com/obsFuse/goofyschmod +x goofys这样很简单吧,很快就装好了。我第一次编译包可是费了很大劲验证安装成功, 执行goofys --version可以显示版本信息证明成功5.挂载文件系统配置认证密钥vi root/.aws/credentials   //这儿可以使用一个比较不易访问的目录保证安全性[default]aws_access_key_id = AKID123456**0aws_secret_access_key = MY-SECRET-KEYAK sk的获取参考下面的地址:http://support.huaweicloud.com/api-dis/zh-cn_topic_0058207000.html创建一个空目录,比如 mkdir /home/obs-goofys-c登录OBSconsole上创建一个空桶,比如说 goofys-huawei,小白可以去华为云搜索帮助。使用goofys进行挂载,挂载地址选择华为云  华北1区的region地址goofys --profile root/.aws/credentials --endpoint https://obs.cn-north-1.myhwclouds.com --region cn-north-1 goofys-huawei   /home/obs-goofys-c或者:goofys --endpoint https://obs.cn-north-1.myhwclouds.com --region cn-north-1 goofys-huawei   /home/obs-goofys-c创建后可以通过df -h 可以查看有一个 文件系统名称为goofys-huawei的挂载点。可以在fstab中添加配置解决重启后挂载丢失的问题。goofys#bucket   /mnt/mountpoint        fuse    _netdev,allow_other,--file-mode=0666   0       0以上信息 参考网址如下,一并列举出来,方便大家查询https://github.com/kahing/goofyshttps://github.com/astaxie/build-web-application-with-golang/blob/master/zh/01.1.mdhttps://golangtc.com/downloadhttps://dl.gocn.io/======================================end===============================================================================================番外篇如果有人喜欢自己编译一个goofys包,那么如果从源码进行安装呢,下面给出一些步骤,供大家参考选择一个goofys安装目录建议在/root/go,然后下载goofys源码git clone https://github.com/kahing/goofys.gitmkdir /usr/local/go/src/github.com/kahing/cp -r goofys/usr/local/go/src/github.com/kahing/执行编译,编译会产生错误,提示有很多依赖包没有安装go build -o goofys main.go依赖包的安装:有两个依赖包,一个是在github.com,一个在golang.org。 从https://github.com/golang/ 路径下可以找到golang.org类的包。从https://github.com/sevlyar 可以找到github.com缺少的一些包。使用git clone方式全面download下来就可以使用cd /usr/local/go/src/mkdir github.com$ cd $GOPATH/src$ mkdir golang.org$ cd golang.org$ mkdir x$ cd xgit clone https://github.com/jacobsa/fuse.gitgit clone https://github.com/sevlyar/go-daemon.git 我自己讲所有的依赖包都上传到对象存储的桶里面,允许匿名访问可以通过wget下载wget https://charles-goofys.obs.myhwclouds.com/github.com.zipwget https://charles-goofys.obs.myhwclouds.com/golang.org.zip下载后直接解压到 /usr/local/go/src/ 下就可以。安装goofys执行编译go build -o goofys main.go执行之后会产生一个goofys的文件,cp此文件到$GOPATH/bin下面,创建一个连接可以直接使用goofysln-s /$GOPATH/bin/goofys/usr/bin/goofys验证安装成功, 执行goofys --version可以显示版本信息证明成功
  • [教程] Nextcloud网盘对接华为云对象存储OBS
    更新: 现在可以直接通过云市场或者ECS的【市场镜像-商业软件-存储与备份】直接一键部署Nextcloud了!https://app.huaweicloud.com/product/00301-70091-0--0-----------------------------------------------------------------------------------------------------------------------Nextcloud是一个完全开源的网盘系统, 能够实现在线办公、文件共享等常用企业合作功能,并具备灵活扩展的能力。Nextcloud对接对象存储OBS可以最大化地降低存储成本,并让网盘空间能够灵活扩展对接对象存储OBS的操作步骤如下:
  • 浏览器直接下载OBS对象而不是直接显示图或者播放视频
    往OBS的桶里上传的对象是一个图片(*.jpg)或者是一个视频(*.mp4)时,在浏览器中输入OBS提示的对象下载地址时(通过bucketpolicy开放给匿名用户访问),浏览器会自动打开图片或者播放视频。如何做到将图片或者视频下载到本地,而不被浏览器打开呢? 浏览器直接图片:通过OBS console上传的图片,提示图片下载地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpg,浏览器输入该地址后,会直接打开。如果需要浏览器输入链接后,就能直接下载该图片(视频)则可以在OBS提示的地址后面加上一个参数‘response-content-disposition=attachment’,即,即浏览器中输入地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpy?response-content-disposition=attachment就可以下载该对象。浏览器直接播放视频或打开图片:通过OBS console上传的图片或者视频,使用浏览器打开该图片或者视频的地址时,默认是打开图片或者播放视频。如果通过API,则需要在上传对象接口中携带“Content-Type : audio/mp4”(这里是mp4视频), 浏览器打开时就可以直接播放视频。
  • 【教程】如何用二维码获取OBS上的资源
    原料:关键词:二维码,OBS,静态网站托管,桶策略 ------分割线(下面是步骤)------步骤:Step1:登录华为云账号-》点击控制台-》登录对象存储界面;Step2:创1个Bucket,名字叫qrcode上传1个Object,名字叫helloworld.jpgStep3:(关键步骤,关键步骤,关键步骤,重要事情说三遍并且标红)[/backcolor]开启静态网站托管功能记录访问地址(吐槽一下,好像没法实时显示出来,要再点击一次才会显示):https://qrcode.obs-website.cn-north-1.myhwclouds.comStep4:(换个姿势,敲黑板划重点)设置Bucket策略(这里简单描述下Bucket策略是对整个Bucket进行策略设置,如果要Object级别的策略设置可以用ACL)代码如下(把qrcode这个桶名换成你需要的桶名即可)Step5:拼接网址生成二维码域名(From Step3):https://qrcode.obs-website.cn-north-1.myhwclouds.com对象名:helloworld.jpg那么网址就是:https://qrcode.obs-website.cn-north-1.myhwclouds.com/helloworld.jpgStep6:百度一个二维码生成器把网址生成二维码即可 PS:下图是二维码 二维码没法通过微信扫描到,但是QQ、支付宝、UC浏览器均可实现斌仔推测应该是微信对域名有校验,因为木有一个备案的域名备案,所以会限制解决方法:找一个备案的域名,用华为云的域名解析服务,然后将真实域名指向https://qrcode.obs-website.cn-north-1.myhwclouds.com
  • 使用对象存储托管docker镜像源
    私有的Docker镜像会占用企业较大的存储空间,且内容重要,不容丢失。 对象存储则是最适合存放这类文件的平台。Docker的官方文档: docker官方文档这里给出使用Ubuntu 16.04 LTS版本搭建docker镜像源 并用华为云对象存储进行托管的方案:使用harbor搭建docker registry,请参考CSDN这篇文章使用S3fs来对接OBS, 需要安装并配置S3fs, 安装过程请参考华为云论坛这篇文章:【教程】使用S3fs让ECS虚拟机直接挂载OBS对象存储桶在安装的harbor目录下配置docker-compose.yml文件:/mnt/res是在3.2中配置s3fs时的关联OBS桶的本地目录。也可以指定其他目录,但是必须与3.2中配置s3fs中的挂载地址一致。配置完毕后,在harbor目录下:示例:至此安装结束,上传已有的镜像即可看到镜像已经存入了华为云对象存储OBS中:示例:
  • 已有Git服务器时,将Git仓库 迁移到对象存储服务
    使用华为云对象存储服务存储Git仓库1 预置条件已有Git 服务器,并且支持通过仓库配置仓库地址。2 使用步骤1. Git服务器安装S3FS apt-get install s3fs2. 创建桶http://support.hwclouds.com/qs-obs/zh-cn_topic_0045829030.html3. 修改git 配置为一个不存在的目录,并重启服务。root@ubuntu:~# cat /etc/gitlab/gitlab.rb |grep git_data_dirsgit_data_dirs({ "default" => { "path" => "/mnt/git-data1", ´gitaly_address´ => ´unix:/var/opt/gitlab/gitaly/gitaly.socket´ } })root@ubuntu:~# gitlab-ctl stoproot@ubuntu:~# gitlab-ctl reconfigure 提示:挂在前不要迁移数据,否则s3fs 无法同步root@ubuntu:~# gitlab-ctl start查看新目录的权限root@ubuntu:/mnt# ls /mnt -al | grep git-data1 drwx------ 3 git root 4096 Se4. 挂载桶到指定目录,并赋予git 用户权限: 将有已有的AK、SK密钥文件,并修改权限为600,例如: root@ubuntu:~# vim etcpassword-s3fs(input AKSK) root@ubuntu:~# chmod 600 etcpass root@ubuntu:~# cat /etc/password-s3fs 查询git 用户的用户ID:root@ubuntu:~# cat /etc/passwd | grep gitgitlab:x:1000:1000:gitlab,,,:/home/gitlab:/bin/bashgitlab-www:x:999:999::/var/opt/gitlab/nginx:/bin/falsegit:x: 998:998::/var/opt/gitlab:/bin/sh 指定域名将桶挂载到指定目录: root@ubuntu:s3fs dfv01 /mnt/git-data1 -o url=http://www.hwclouds.com/ -o passwd_file=/etc/password-s3fs -o connect_timeout=20 -o default_acl=public-read-write -o nonempty -o -d -o rw,allow_other,uid=998,gid=998 确保挂载有效,目录可以访问 root@ubuntu:/mnt/git-data1# ll total 12 drwx------ 3 git root 4096 Sep 4 23:20 ./ drwxrwxrwx 5 root root 4096 Sep 5 01:56 ../ drwxrws--- 5 git root 4096 Sep 5 02:34 reposit5. 迁移已有工程目录到新的仓库: root@ubuntu:~# sudo rsync -av /var/opt/gitlab/git-data/repositories /mnt/git-data1/6. 重启数据库,如果configure 数据库失败,需要先umount root@ubuntu:~#gitlab-ctl stop root@ubuntu:~#gitlab-ctl reconfigure 7. 清除缓存,否则会找不到历史数据: root@ubuntu:~# redis-cli 127.0.0.1:6379> flushall OK root@ubuntu:~#gitlab-ctl start3 常见问题1. 挂载目录不能访问原因1: 域名不通原因2: 不具备Https 证书原因3: 密钥文件内容或权限不正确2. 访问历史工程返回404 原因1:检查步骤7中是否清除缓存3. 创建新工程返回500原因1:检查挂载后的目录对git 用户是否有访问权限原因2:检查挂载目录是否可以访问
  • 对象存储、块存储和文件存储的区别
    块存储就好比硬盘一样, 直接挂在到主机, 一般用于主机的直接存储空间和数据库应用(如: mysql)的存储分2中形式: [*]DAS: 一台服务器一个存储, 多机无法直接共享, 需要借助操作系统的功能, 如共享文件夹[*]SAN: 金融电信级别, 高成本的存储方式, 涉及到光纤和各类高端设备, 可靠性和性能都很高, 除了贵和运维成本高, 基本都是好处* 云存储的块存储: 具备SAN的优势, 而且成本低, 不用自己运维, 且提供弹性扩容, 随意搭配不同等级的存储等功能, 存储介质可选普通硬盘和SSD文件存储与较底层的块存储不同, 上升到了应用层, 一般指的就是 NAS ,一套网络储存设备, 通过TCP/IP进行访问, 协议为NFSv3/v4由于通过网络, 且采用上层协议, 因此开销大, 延时肯定比块存储高一般用于多个云服务器共享数据, 如服务器日志集中管理, 办公文件共享对象存储具备块存储的高速以及文件存储的共享等特性, 较为智能, 有自己的CPU, 内存, 网络和磁盘, 比块存储和文件存储更上层, 云服务商一般提供用户文件上传下载读取的Rest API, 方便应用集成此类服务
  • 易用上云-华为云对象存储服务应用系列②--ElasticSearch归档
    易用上云-华为云对象存储服务应用系列②--ElasticSearch归档基本介绍ElasticSearch支持对数据进行快照,然后把快照归档到S3对象存储、共享NAS等存储服务中。OBS是与亚马逊AWS S3兼容的,ElasticSearch同样能把快照数据归档到OBS上。配置指导下面就来介绍一下怎么通过repository-s3插件将Elasticsearch快照数据归档到OBS上1. 安装repository-s3插件Elasticsearch官网提供了安装指导:https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3.html注意:repository-s3的版本要和Elasticsearch的版本配套。这里使用的Elasticsearch、repository-s3的版本都是5.5.2。一开始用ES版本是5.5.0,安装5.5.2版本的repository-s3失败:版本配套,安装成功:这里把插件安装包直接下载到本地进行安装的,在线安装可以参考上面官网的安装指导。安装成后在es的plugins目录下可以看到安装成功的插件ES集群里面所有节点都要安装repository-s3插件2. 配置快照仓库a) 预置条件:在华为云上开通OBS对象存储服务,拿到OBS的AK/SK,在OBS里创建归档快照用的桶,我创的桶是esbucket。OBS门户:http://www.hwclouds.com/product/obs.htmlb) 参照ES官网的指导,配置快照仓库,json格式如下:Region:由于这里对接的是OBS对象存储服务,这里不要配置region信息,插件里填了region后,插件会强制把endpiont改成AWS的域名;Endpoint:对接到OBS对象存储服务endpoint必须要填,根据桶的位置,填写桶所在区域对应的OBS对象存储服务的域名;Protocol:我这里测试用的是http,OBS是支持https的;https比http要复杂一点,需要从OBS服务端下载https证书;ES官网里还介绍了其他配置参数,可以根据自己的实际需求做配置:https://www.elastic.co/guide/en/elasticsearch/plugins/5.5/repository-s3-repository.html c) 开启仓库这里使用curl命令给ES发请求来打开仓库,当然也可以使用ES的SDK来开启:可以查询当前打开的仓库:这里创建了2个仓库:3. 备份快照触发ES执行快照归档:url -X PUT http://127.0.0.1:9200/_snaps**/my_s3_repository/snaps**_3?wait_for_completion=true归档成功:使用OBS Browser查看esbucket桶里的数据:OBS Browser下载链接:http://developer.hwclouds.com/tools/obs.html4. 恢复快照:
  • 易用上云-华为云对象存储服务应用系列①Cloud Sync备份
    易用上云-华为云对象存储服务应用系列①Cloud Sync备份对象存储服务是一种高可靠、高性能、高安全的海量云存储服务,主要应用在备份归档、大数据分析、WEB/Mobile以及网盘应用等场景,是公有云上数据的最终汇聚点,提供99.999999999%(11个9)的数据持久性, 99.99%可用性,10ms稳定时延,支持标准存储、低频访问存储和归档存储三种存储类别,可基于生命周期管理策略实现数据自动转储,可以大大节省用户的使用成本,可以通过Cloud Sync与OBS服务间无缝同步数据。测试数据准备首先需要创建桶,登录华为云华为云OBS服务控制台https://storage.hwclouds.com/obs/,进去后可以看到你的OBS服务下所有桶信息,我们这里为群晖专门创建一个备份数据桶,单击右上角的“创建桶”按钮:(“桶”是对象存储服务的存储的容器名称,桶里面管理的是存储的对象,关于桶的介绍,可以看这里:http://support.hwclouds.com/productdesc-obs/zh-cn_topic_0045829091.html) 然后看到如下的创建桶界面,区域选择“中国华北区1”,桶名称为可以自行制定,我就直白的写成“qunhuibackup”,存储类型选择“标准存储”,然后点击“创建桶”。创建桶完成后,我们就可以在对象存储服务中看到我们新创建桶的信息了。 单机桶名称,就可以进入查看到详细的桶属性信息:创建Access Key(AK)和 Secret Key(SK)华为云为了账号密码的安全,和更灵活的权限管理,使用了AK/SK 凭证机制,所以我们在使用前需要创建AK/SK。 我们在页面右上角单击账号,在下拉菜单单击“我的凭证”,进入凭证设置界面: 在凭证设置界面,首先请确认“已验证手机”号码的正确性,这里需要通过手机收取验证码。确认手机号正确后,请点击“新增访问密钥”,然后按照指示完成密钥创建。创建好密钥后,请保存好你的访问密钥ID(Access Key/AK)和安全ID(Secret Key/SK),后面在群晖上配置的时候需要使用。使用Synology对接OBS1.首先打开群晖的套件中心,安装群晖的“Cloud Sync”插件,安装完成后并点击“打开”,运行该插件。 2.在Cloud Sync的初始配置界面,选择“S3存储器”,点击“下一步” 3.选择S3服务器为“自定义服务器URL”,在服务器地址栏输入华为OBS服务器域名(域名见下表);在“Access key”中,输入之前创建的AK;在“Secret key”,输入之前创建的SK;然后单击“Bucket 名称” 栏,就会自动的列举出你在华为OBS服务下的可以访问的桶信息,这里我们选择之前已经创建好的“qunhuibackup”桶,然后点击“下一步”:参考:华为OBS数据中心域名,建议选择全局域名。4.单击“本地路径”,选择本地群晖上需要备份的文件夹路径(这里要注明一下,通过群晖的USB接口外接的存储器如移动硬盘,U盘等,不能被选择为“本地路径”):5.单击“远程路径”,选择一个在华为OBS服务上的文件夹,如果需要,可以新创建一个:如果不是特别敏感的数据,建议不选择“数据加密”6.选择好以后确认设置信息是否正确,如果正确,就点击“应用”,然后就可以看到群晖已经启动了数据自动同步,并且可以看到同步状态。 7.最后,我们可以登录到华为OBS服务控制台,确认我们的数据已经同步上去。华为OBS服务收费标准本次,我们使用的是华为云的对象存储服务(OBS),为群晖进行数据同步和容灾备份。华为OBS服务主页http://www.hwclouds.com/product/obs.html价格详情链接:http://support.hwclouds.com/pro_price/#mod_price_04此外还提供优惠套餐包,如下:价格详情链接:http://support.hwclouds.com/pro_price/#mod_price_04华为云账号注册路径:https://auth.hwclouds.com/authui/public/custom/register.html?locale=zh-cn&service=http://www.hwclouds.com/product/obs.html#/register)
  • 简单方便使用和管理对象存储服务---s3cmd
    s3cmd 是用于创建S3桶,上传,检索和管理数据到对象存储命令行实用程序。本文将指导安装s3cmd程序,以及对象存储服务桶和对象数据管理,包括创建桶、上传、检索、删除及本地与对象存储服务间数据同步等。本文以下内容将以CentOS7.3的弹性云服务器为例,windows操作系统也可参考。· 安装s3cmd安装setuptools:[root@ecs ~]# yum install python-setuptools安装wget:[root@ecs ~]# yum install wget获取s3cmd软件包:[root@ecs ~]# wget https://github.com/s3tools/s3cmd/archive/master.zip[root@ecs ~]# mv master.zips3cmd-master.zip安装s3cmd:[root@ecs ~]# unzip s3cmd-master.zip[root@ecs ~]# cd s3cmd-master[root@ecs ~]# python setup.py install · 配置s3cmd[root@ecs ~]# s3cmd --configureEnter new values or accept defaults inbrackets with Enter.Refer to user manual for detailed descriptionof all options. Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.#访问密钥,可参考http://support.hwclouds.com/usermanual-ca/zh-cn_topic_0046606340.html获取Access Key: ***************Secret Key: **************************************Default Region : cn-north-1 Use "s3.amazonaws.com" for S3Endpoint and not modify it to the target Amazon S3.#对象存储服务接入地址,可参考http://support.hwclouds.com/devg-obs/zh-cn_topic_0071992461.html填写S3 Endpoint [s3.amazonaws.com]: obs.myhwclouds.com​Use "%(bucket)s.s3.amazonaws.com"to the target Amazon S3. "%(bucket)s" and "%(location)s"vars can be usedif the target S3 system supports dns basedbuckets.#此处%(bucket)s后缀域名与endpoint填写保持一致DNS-style bucket+hostname:port template foraccessing a bucket [%(bucket)s.s3.amazonaws.com]: %(bucket)s.obs.myhwclouds.com Encryption password is used to protect yourfiles from readingby unauthorized persons while in transfer toS3#依赖于gpg工具进行本地文件加密,如果不需要可以回车直接跳过Encryption password: ******** Path to GPG program [/usr/bin/gpg]: When using secure HTTPS protocol allcommunication with Amazon S3servers is protected from 3rd partyeavesdropping. This method isslower than plain HTTP, and can only beproxied with Python 2.7 or newer#客户端与对象存储服务是否采用https加密协议Use HTTPS protocol [Yes]: yes On some networks all internet access must gothrough a HTTP proxy.Try setting it here if you can't connect toS3 directlyHTTP Proxy server name: New settings: Access Key: *************** Secret Key: ************************************** Default Region: cn-north-1 S3 Endpoint: obs.myhwclouds.com DNS-style bucket+hostname:porttemplate for accessing a bucket: %(bucket)s.obs.myhwclouds.com Encryption password: ******** Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0 Test access with supplied credentials?[Y/n] yPlease wait, attempting to list allbuckets...Success. Your access key and secret keyworked fine :-) Now verifying that encryption works...Success. Encryption and decryption workedfine :-) Save settings? [y/N] yConfiguration saved to '/root/.s3cfg' --s3cmd会在本地用户home目录下生成".s3cfg"配置文件,后续修改也可直接编辑修改.s3cfg配置文件中参数值 · 使用s3cmd命令s3cmd配置完成后,即可使用命令管理对象存储服务1.列出全部存储桶使用以下命令列出在您的对象存储服务中的所有桶。 [root@ecs~]# s3cmd ls 2.创建新桶要在对象存储服务中创建新桶,如创建为mybucket桶。 [root@ecs~]# s3cmd mb s3://mybucket 3. 上传文件到S3桶 以下命令将使用s3cmd命令上传文件test.txt的到mybucket桶。 [root@ecs~]# s3cmd put test.txt s3://mybucket/ 4.上传文件夹到s3桶如果我们需要上传整个目录使用-r递归上传,像下面这样。 [root@ecs~]# s3cmd put -r backup s3://mybucket/ 如果上次目录结尾带有‘/’ (如:backup/),将只上传备份目录中的内容,不包含根文件夹。 [root@ecs~]# s3cmd put -r backup/ s3://mybucket/ 5.列出桶中存储数据使用ls列举桶中的对象。 [root@ecs~]# s3cmd ls s3://mybucket/ 6.从对象存储桶中下载文件如果我们需要从桶中下载文件,使用下面的命令来下载。 [root@ecs~]# s3cmd get s3://mybucket/test.txt 7.删除存储桶的数据要删除桶中的文件或者文件夹都是使用下面的命令。 [root@ecs~]# s3cmd del s3://mybucket/test.txt[root@ecs~]# s3cmd del s3://mybucket/backup 8.删除桶如果删除不需要的桶,可使用以下命令(删除时确保桶中无对象,否则删除失败) [root@ecs~]# s3cmd rb s3://mybucket 9.同步本地目录或文件到对象存储桶如果想把本地目录(如/home/mydir)同步到对象存储桶中(如s3://mybucket/mydir),只需执行以下一条命令即可同步所有文件: [root@ecs~]# s3cmd sync /home/mydir/s3://mybucket/mydir/ 注意:不要忘了添加具有完整的目录路径指定S3存储桶时,尾随本地目录路径斜杠(/)。 为了保持保留文件属性,如日期/时间等使用 -p 或 -preserve 参数,如下图所示 [root@ecs~]# s3cmd sync /home/mydir/ --preserves3://mybucket/mydir/ 如果我们要同步源使用 –skip-existing参数仅新创建的文件。它会跳过已经存在的目的地或者其修改源的所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--skip-existing s3://mybucket/mydir/ 如果你想删除从S3桶已经从本地使用 –delete-removed 参数删除所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--delete-removed s3://mybucket/mydir/ 10.同步对象存储桶中对象到本地目录如果想把对象存储桶中(如s3://mybucket/mydir)所有对象同步到本地目录(如/home/mydir),只需执行以下一条命令即可同步所有文件: [root@ecs~]# s3cmd sync s3://mybucket/mydir//home/mydir/ 当然也可以为以下从对象存储桶文件同步到本地目录中使用-preserve,–skip-existing 和 –delete-removed参数。 [root@ecs~]# s3cmd sync s3://mybucket/mydir/--preserve /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--skip-existing /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--delete-removed /home/mydir/
  • 能否站在用户的角度上讲述我们如何使用对象存储这个产.
    查看入门资料,看了并不能快速入手,接口参考和开发者指南的指导作用很有限。比如说创建AK和SK,如何使用?如何在API调用中使用它们?另外,各种资料太多了,但其内容不具有指导性。能否站在用户的角度上写一下如何使用对象存储这个产品?资料的易用性太差。
  • 对象存储权限控制经验总结(1)
    经过详细阅读华为公有云的对象存储开发者指南和控制台指南,结合自身应用场景,总结了几个常用的权限控制配置方法。场景一:允许匿名用户访问桶中对象配置步骤:1. 登录OBS管理控制台,在桶列表中单击待操作的桶,进入”概览”页面。2. 在左侧导航栏单击“权限”,进入“桶策略”页签。3. 在标准桶策略下面选择“公共读”,并在弹出对话框中选择“是”。4. 修改成功之后显示如下5. 通过浏览器控制台调试信息可以看到,“公共读”策略对应的桶策略实际如下 注意:配置信息中的"your-bucket-name"需要替换为你自己的桶名。{    "Version":"2008-10-17",    "Id":"publicReadOnlyPolicyId",    "Statement":[        {            "Sid":"publicReadOnlyPolicyStatementId",            "Effect":"Allow",            "Principal":{                "AWS":[                    "*"                ]            },            "Action":[                "s3:GetObject",                "s3:GetObjectVersion"            ],            "Resource":[                "arn:aws:s3:::your-bucket-name/*"            ]        },        {            "Sid":"publicHeadBucketPolicyStatementId",            "Effect":"Allow",            "Principal":{                "AWS":[                    "*"                ]            },            "Action":[                "s3:HeadBucket",                "s3:ListBucket"            ],            "Resource":[                "arn:aws:s3:::your-bucket-name"            ]        }    ]}该桶策略表示匿名用户可以下载(GetObject、GetObjectVersion)桶内的所有对象(除开非桶owner上传的对象),同时可以获取桶的元数据信息(HeadBucket)以及获取桶内对象列表(ListBucket)详细的桶策略语言的语法可以参考如下链接:https://support.huaweicloud.com/devg-obs/zh-cn_topic_0118394684.html6. 验证匿名下载桶中对象。#curl -v http://your-bucket-name.obs.myhuaweicloud.com/test.txt* About to connect() to your-bucket-name.obs.myhuaweicloud.com port 80 (#0)*   Trying x.x.x.x...* Connection refused*   Trying x.x.x.x...* Connected to your-bucket-name.obs.myhuaweicloud.com (x.x.x.x) port 80 (#0)> GET /test.txt HTTP/1.1> User-Agent: curl/7.29.0> Host: your-bucket-name.obs.myhuaweicloud.com> Accept: */*> < HTTP/1.1 200 OK< Server: OBS< x-amz-request-id: 0000016D0543C2FC801B3602A716823F< x-reserved: amazon, aws and amazon web services are trademarks or registered trademarks of Amazon Technologies, Inc< Accept-Ranges: bytes< ETag: "47bce5c74f589f4867dbd57e9ca9f808"< Last-Modified: Tue, 12 Feb 2019 04:02:34 GMT< Content-Type: text/plain< x-amz-id-2: 32AAAQAAEAABAAAQAAEAABAAAQAAEAABCSHO/B7r4XfCnE+dMy+vw27wPI+Cp7uo< Date: Fri, 06 Sep 2019 06:29:49 GMT< Content-Length: 3
  • s3cmd工具同步S3存储桶内所有对象到本地目录指导
    s3cmd 是用于创建S3桶,上传,检索和管理数据到对象存储命令行实用程序。本文将指导安装s3cmd程序,以及对象存储服务桶和对象数据管理,包括创建桶、上传、检索、删除及本地与对象存储服务间数据同步等。本文以下内容将以CentOS7.3的弹性云服务器为例,windows操作系统也可参考。· 安装s3cmd安装setuptools:[root@ecs ~]# yum install python-setuptools[/backcolor]安装wget:[root@ecs ~]# yum install wget[/backcolor]获取s3cmd软件包:[root@ecs ~]# wget https://github.com/s3tools/s3cmd/archive/master.zip[root@ecs ~]# mv master.zips3cmd-master.zip安装s3cmd:[root@ecs ~]# unzip s3cmd-master.zip[root@ecs ~]# cd s3cmd-master[root@ecs ~]# python setup.py install· 配置s3cmd 黑粗字体标示需要输入和编辑[root@ecs ~]# s3cmd --configureEnter new values or accept defaults inbrackets with Enter.[/backcolor]Refer to user manual for detailed descriptionof all options.[/backcolor]Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.[/backcolor]#访问密钥,可参考http://support.hwclouds.com/usermanual-ca/zh-cn_topic_0046606340.html获取[/backcolor]Access Key: ***************Secret Key: **************************************Default Region : cn-north-1Use "s3.amazonaws.com" for S3Endpoint and not modify it to the target Amazon S3.[/backcolor]#对象存储服务接入地址,可参考http://support.hwclouds.com/devg-obs/zh-cn_topic_0071992461.html填写[/backcolor]S3 Endpoint [s3.amazonaws.com]: obs.myhwclouds.com​Use "%(bucket)s.s3.amazonaws.com"to the target Amazon S3. "%(bucket)s" and "%(location)s"vars can be used[/backcolor]if the target S3 system supports dns basedbuckets.[/backcolor]#此处只需修改 %(bucket)s 后缀域名与endpoint填写保持一致[/backcolor]DNS-style bucket+hostname:port template for accessinga bucket [%(bucket)s.s3.amazonaws.com]: %(bucket)s.obs.myhwclouds.com Encryption password is used to protect yourfiles from reading[/backcolor]by unauthorized persons while in transfer toS3[/backcolor]#依赖于gpg工具进行本地文件加密,如果不需要可以回车直接跳过[/backcolor]Encryption password: ******** [/backcolor]Path to GPG program [/usr/bin/gpg]: [/backcolor][/backcolor]When using secure HTTPS protocol allcommunication with Amazon S3[/backcolor]servers is protected from 3rd partyeavesdropping. This method is[/backcolor]slower than plain HTTP, and can only beproxied with Python 2.7 or newer[/backcolor]#客户端与对象存储服务是否采用https加密协议[/backcolor]Use HTTPS protocol [Yes]: yesOn some networks all internet access must gothrough a HTTP proxy.Try setting it here if you can´t connect toS3 directlyHTTP Proxy server name: New settings: Access Key: ***************[/backcolor] Secret Key: **************************************[/backcolor] Default Region: cn-north-1[/backcolor] S3 Endpoint: obs.myhwclouds.com[/backcolor] DNS-style bucket+hostname:porttemplate for accessing a bucket: %(bucket)s.obs.myhwclouds.com[/backcolor] Encryption password: ******** Path to GPG program: /usr/bin/gpg Use HTTPS protocol: True HTTP Proxy server name: HTTP Proxy server port: 0Test access with supplied credentials?[Y/n[/backcolor]] yPlease wait, attempting to list allbuckets...[/backcolor]Success. Your access key and secret keyworked fine :-)[/backcolor]Now verifying that encryption works...[/backcolor]Success. Encryption and decryption workedfine :-)[/backcolor][/backcolor]Save settings? [y/N][/backcolor] yConfiguration saved to ´/root/.s3cfg´--s3cmd会在本地用户home目录下生成".s3cfg"配置文件,后续修改也可直接编辑修改.s3cfg配置文件中参数值· 使用s3cmd命令s3cmd配置完成后,即可使用命令管理对象存储服务1.列出全部存储桶使用以下命令列出在您的对象存储服务中的所有桶。 [root@ecs~]# s3cmd ls 2.创建新桶要在对象存储服务中创建新桶,如创建为mybucket桶。 [root@ecs~]# s3cmd mb s3://mybucket 3. 上传文件到S3桶 以下命令将使用s3cmd命令上传文件test.txt的到mybucket桶。 [root@ecs~]# s3cmd put test.txt s3://mybucket/ 4.上传文件夹到s3桶如果我们需要上传整个目录使用-r递归上传,像下面这样。 [root@ecs~]# s3cmd put -r backup s3://mybucket/ 如果上次目录结尾带有‘/’ (如:backup/),将只上传备份目录中的内容,不包含根文件夹。 [root@ecs~]# s3cmd put -r backup/ s3://mybucket/ 5.列出桶中存储数据使用ls列举桶中的对象。 [root@ecs~]# s3cmd ls s3://mybucket/ 6.从对象存储桶中下载文件如果我们需要从桶中下载文件,使用下面的命令来下载。 [root@ecs~]# s3cmd get s3://mybucket/test.txt 7.删除存储桶的数据要删除桶中的文件或者文件夹都是使用下面的命令。 [root@ecs~]# s3cmd del s3://mybucket/test.txt[root@ecs~]# s3cmd del s3://mybucket/backup 8.删除桶如果删除不需要的桶,可使用以下命令(删除时确保桶中无对象,否则删除失败) [root@ecs~]# s3cmd rb s3://mybucket 9.同步本地目录或文件到对象存储桶如果想把本地目录(如/home/mydir)同步到对象存储桶中(如s3://mybucket/mydir),只需执行以下一条命令即可同步所有文件: [root@ecs~]# s3cmd sync /home/mydir/s3://mybucket/mydir/ 注意:不要忘了添加具有完整的目录路径指定S3存储桶时,尾随本地目录路径斜杠(/)。 为了保持保留文件属性,如日期/时间等使用 -p 或 -preserve 参数,如下图所示 [root@ecs~]# s3cmd sync /home/mydir/ --preserves3://mybucket/mydir/ 如果我们要同步源使用 –skip-existing参数仅新创建的文件。它会跳过已经存在的目的地或者其修改源的所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--skip-existing s3://mybucket/mydir/ 如果你想删除从S3桶已经从本地使用 –delete-removed 参数删除所有文件。 [root@ecs~]# s3cmd sync /home/mydir/--delete-removed s3://mybucket/mydir/ 10.同步对象存储桶中对象到本地目录如果想把对象存储桶中(如s3://mybucket/mydir)所有对象同步到本地目录(如/home/mydir),只需执行以下一条命令即可同步所有文件: [root@ecs~]# s3cmd sync s3://mybucket/mydir//home/mydir/ 当然也可以为以下从对象存储桶文件同步到本地目录中使用-preserve,–skip-existing 和 –delete-removed参数。 [root@ecs~]# s3cmd sync s3://mybucket/mydir/--preserve /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--skip-existing /home/mydir/[root@ecs~]# s3cmd sync s3://mybucket/mydir/--delete-removed /home/mydir/
总条数:817 到第
上滑加载中