Spark集群能访问OBS中的数据吗？

对象存储根据访问频次分为标准存储（热）、低频访问存储（温）、归档存储（冷） 如何选择自己对象的存储形式呢？ 1、根据数据的访问频次 一般来说一个月才访问到一次的数据可以选择低频访问存储 一年才访问到一次的数据可以选择归档存储 2、根据数据的类型（其实也和访问频次相关） 标准存储：云应用、分享对象、热点对象等 低频访问存储：监控数据，网盘 归档存储：档案数据、备份数据 对象存储服务通过生命周期管理可以将对象从热到冷转换 在华为云上，还能直接指定存储类别的上传对象

本帖最后由 yd_74083901 于 2017-11-17 16:33 编辑5042 更多产品介绍内容请移步对象存储服务帮助中心 【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区），文章链接，文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：hwclouds.bbs@huawei.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。

数据的安全一直是互联网上最令人关注的问题，不同场景下到底如何使用，如何保证自己的数据安全呢？有几点心得分享下：1、如果你的数据是网站公开的，当然是希望大家都来访问你的网站，把你的对象设置为public read的，所有人都可以访问，也无需走HTTPS； 2、你的数据是不想别人访问到，最好使用HTTPS传输，保证在传输通道上不被别人窃取； 3、如果你不放心数据存储到云上，有可能硬盘泄露导致数据泄露，使用数据加密存储，一般云厂商提供的是服务端加密，数据的加密密钥是云厂商管理的，但是与数据是独立存放，管理更安全，华为云对象存储挺有意思的，提供了客户端提供密钥，服务端加密的方式，保证密钥由客户管理，安全性得到进一步的提供，就像我们本地压缩文件设置密码一样，但是注意密钥如果忘记了，HIA~HIA~，玉皇大帝也读不出来数据了； 4、另外数据在网络传输的可靠性问题，你可以在上传时携带文件的MD5值，服务端会校验MD5值保证传输的可靠性； 5、没有必要的时候，千万不要分享数据给其他人！！！ 这个是我分析了一下业界对象存储的安全性得到的心得，使用对象存储的小伙伴可以看看，一起讨论讨论哈。

如题。

本帖最后由 开发者 于 2018-2-24 09:00 编辑华为云各产品错误码列表，本页面将持续更新类型云产品错误码说明计算弹性云服务器 ECShttp://support.huaweicloud.com/api-ecs/zh-cn_topic_0022067717.html弹性伸缩服务 AShttp://support.huaweicloud.com/api-as/zh-cn_topic_0043063042.html镜像服务 IMShttp://support.huaweicloud.com/api-ims/zh-cn_topic_0022473689.html云服务器备份服务 CSBShttp://support.huaweicloud.com/api-csbs/zh-cn_topic_0071888297.html存储云硬盘 EVShttp://support.huaweicloud.com/api-evs/zh-cn_topic_0022065794.html云硬盘备份 VBShttp://support.huaweicloud.com/api-vbs/zh-cn_topic_0022472083.html对象存储服务 OBShttp://support.huaweicloud.com/api-obs/zh-cn_topic_0071337616.html内容分发网络 CDNhttp://support.huaweicloud.com/api-cdn/zh-cn_topic_0071713859.html对象存储迁移服务 OMShttp://support.huaweicloud.com/api-oms/zh-cn_topic_0045916694.html网络虚拟私有云 VPChttp://support.huaweicloud.com/api-vpc/zh-cn_topic_0020313978.html弹性负载均衡 ELBhttp://support.huaweicloud.com/api-elb/zh-cn_topic_0020311892.html应用服务分布式消息服务 DMShttp://support.huaweicloud.com/api-dms/zh-cn_topic_0047767072.html消息通知服务 SMNhttp://support.huaweicloud.com/api-smn/zh-cn_topic_0036017310.html数据库关系型数据库 RDShttp://support.huaweicloud.com/api-rds/zh-cn_topic_0032488241.html数据分析机器学习服务MLShttp://support.huaweicloud.com/api-mls/mls_03_0025.html管理与部署云监控服务 CEShttp://support.huaweicloud.com/api-ces/zh-cn_topic_0020113436.html云审计服务 CTShttp://support.huaweicloud.com/api-cts/zh-cn_topic_0044325678.html安全Anti-DDoS流量清洗http://support.huaweicloud.com/api-antiddos/antiddos_02_0032.html密钥管理服务 KMShttp://support.huaweicloud.com/api-kms/kms_02_0043.html其他云市场（SaaS类商品）http://support.huaweicloud.com/accessg-marketplace/zh-cn_topic_0070649057.html云市场（API类商品）http://support.huaweicloud.com/accessg-marketplace/zh-cn_topic_0093424522.html合作伙伴运营能力http://support.huaweicloud.com/api-bpconsole/zh-cn_topic_0081766005.html

[i=s] 本帖最后由 HW Developer 于 2017-10-31 11:50 编辑 [/i] [b]计算类云产品错误码列表[/b] 弹性云服务器ECS：[url=http://support.huaweicloud.com/api-ecs/zh-cn_topic_0022067717.html]http://support.huaweicloud.com/a ... pic_0022067717.html[/url] 弹性伸缩服务AS：[url=http://support.huaweicloud.com/api-as/zh-cn_topic_0043063042.html]http://support.huaweicloud.com/api-as/zh-cn_topic_0043063042.html[/url] 镜像服务IMS：[url=http://support.huaweicloud.com/api-ims/zh-cn_topic_0022473689.html]http://support.huaweicloud.com/a ... pic_0022473689.html[/url] 云服务器备份服务CDBS：[url=http://support.huaweicloud.com/api-csbs/zh-cn_topic_0059304245.html]http://support.huaweicloud.com/a ... pic_0059304245.html[/url] [b]存储类云产品错误码列表：[/b] 云硬盘EVS：[url=http://support.huaweicloud.com/api-evs/zh-cn_topic_0022065794.html]http://support.huaweicloud.com/a ... pic_0022065794.html[/url] 云硬盘备份VBS：[url=http://support.huaweicloud.com/api-vbs/zh-cn_topic_0022472083.html]http://support.huaweicloud.com/a ... pic_0022472083.html[/url] 对象存储服务OBS：[url=http://support.huaweicloud.com/api-obs/zh-cn_topic_0071337616.html]http://support.huaweicloud.com/a ... pic_0071337616.html[/url] 内容分发网络CDN：[url=http://support.huaweicloud.com/api-cdn/zh-cn_topic_0071713859.html]http://support.huaweicloud.com/a ... pic_0071713859.html[/url] 对象存储迁移服务OMS：[url=http://support.huaweicloud.com/api-oms/zh-cn_topic_0045916694.html]http://support.huaweicloud.com/a ... pic_0045916694.html[/url] [b]网络类云产品错误码列表：[/b]虚拟私有云VPC：[url=http://support.huaweicloud.com/api-vpc/zh-cn_topic_0020313978.html]http://support.huaweicloud.com/a ... pic_0020313978.html[/url] 弹性负载均衡ELB：[url=http://support.huaweicloud.com/api-elb/zh-cn_topic_0020311892.html]http://support.huaweicloud.com/a ... pic_0020311892.html[/url] [b]应用服务类云产品错误码列表：[/b] 分布式消息服务DMS：[url=http://support.huaweicloud.com/api-dms/zh-cn_topic_0047767072.html]http://support.huaweicloud.com/a ... pic_0047767072.html[/url] 消息通知服务SMN：[url=http://support.huaweicloud.com/api-smn/zh-cn_topic_0036017310.html]http://support.huaweicloud.com/a ... pic_0036017310.html[/url] [b]数据库类云产品错误码列表：[/b] 关系型数据库RDS：[url=http://support.huaweicloud.com/api-rds/zh-cn_topic_0032488241.html]http://support.huaweicloud.com/a ... pic_0032488241.html[/url] [b]数据分析类云产品错误码列表：[/b] 数据仓库服务DWS：[url=http://support.huaweicloud.com/api-dws/zh-cn_topic_0067711912.html]http://support.huaweicloud.com/a ... pic_0067711912.html[/url] 人工智能服务AIS：[url=http://support.huaweicloud.com/api-ais/ais_03_0027.html]http://support.huaweicloud.com/api-ais/ais_03_0027.html[/url] [b]管理与部署类云产品错误码列表：[/b] 云监控服务CES：[url=http://support.huaweicloud.com/api-ces/zh-cn_topic_0020113436.html]http://support.huaweicloud.com/a ... pic_0020113436.html[/url] 云审计服务CTS：[url=http://support.huaweicloud.com/api-cts/zh-cn_topic_0044325678.html]http://support.huaweicloud.com/a ... pic_0044325678.html[/url] [b]安全类云产品错误码列表：[/b] Anti-DDoS流量清洗：[url=http://support.huaweicloud.com/api-antiddos/zh-cn_topic_0037386200.html]http://support.huaweicloud.com/a ... pic_0037386200.html[/url] 秘钥管理服务KMS：[url=http://support.huaweicloud.com/api-kms/zh-cn_topic_0070342633.html]http://support.huaweicloud.com/a ... pic_0070342633.html[/url] [b]其他类云产品错误码列表：[/b] 云市场：[url=http://support.huaweicloud.com/usermanual-marketplace_userhelp_zh/zh-cn_topic_0070649057.html]http://support.huaweicloud.com/u ... pic_0070649057.html[/url]

当前OBS服务中，多版本管理是一个比较吸引人的能力，但是当前多版本管理的版本号是随机生成的，并不能做到用户自定义管理，这个对用户使用有很大的弊端，是否可以增加自定义版本的特性。

1、搬迁本地数据至OBS 如何短时间、低成本、安全、高效的将本地数据搬迁至OBS？根据数据量、耗时、费用等需求，OBS提供了5种搬迁方式，【了解一下】？ 2、迁移其他云服务厂商数据至OBS 想使用华为云OBS的海量存储能力，但数据在其他云厂商对象存储上，采用普通的下载上传方式费时费力。单击【这里】选择一种简单的方式吧~ 3、使用备份软件实现本地数据备份至OBS 传统的备份方案存在系统复杂、投入成本高等诸多弊端，选择合适的备份软件，将本地数据备份至OBS，以降低成本，保障备份数据的安全。详情请戳【这里】。 4、在ECS上通过内网访问OBS ECS默认通过公网方式访问OBS，公网方式响应速度会因为网络质量而受到影响，读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支，您可以试着【在ECS上通过内网访问OBS】。 5、使用自定义域名托管静态网站 OBS提供默认的托管静态网站域名，而自定义域名托管静态网站需要进行哪些操作？请参阅【使用自定义域名托管静态网站】。OBS最佳实践，更多详情：https://bbs.huaweicloud.com/forum/thread-9385-1-1.html常用解决方案说明和教程：A、Web建站：a)  基于华为云OBS搭建Discuz论坛案例：http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=275&extra=page%3D1B、企业云盘(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1090&highlight=%E4%BC%81%E4%B8%9A%E4%BA%91%E7%9B%98)：a) 云盘SaaS服务：按需购买，即买即用；中软国际解放云盘购买地址：https://market.huaweicloud.com/product/00301-102172-0--0b) 基于行业TOP网云软件Anyshare搭建企业云盘  华为云市场镜像地址：https://app.hwclouds.com/product/00301-52074-0--0c)基于华为云搭建Nextcloud免费云盘对接教程： http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1001&extra=page%3D1，华为云市场镜像地址：https://app.hwclouds.com/product/00301-51068-0--0d)基于华为云搭建Owncloud免费云盘对接教程： http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=350&highlight=owncloud，华为云市场镜像地址：https://app.hwclouds.com/product/00301-50053-0--0C、备份归档(http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1091&highlight=%E5%A4%87%E4%BB%BD)：a) 行业TOP备份软件CommVault 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-46072-0--0b) 行业TOP备份软件Anybackup 华为云市场镜像地址: https://app.huaweicloud.com/product/00301-50025-0--0Linux虚拟机直接挂载OBS指导教程：a)   S3fs http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=206&highlight=s3fsb)   Goofys http://forum.huaweicloud.com/forum.php?mod=viewthread&tid=1037&highlight=s3fs OBS常用资料链接：1.     服务器后台直接对接OBS的SDK http://developer.huaweicloud.com/sdk.html2.     OBS最新的价格详情 ： 3134    

本帖最后由 华为云存储 于 2018-3-20 16:53 编辑更新： 现在可以直接通过云市场或者ECS的【市场镜像-商业软件-存储与备份】直接一键部署Nextcloud了！ https://app.huaweicloud.com/product/00301-70091-0--0 ----------------------------------------------------------------------------------------------------------------------- 2618 Nextcloud是一个完全开源的网盘系统， 能够实现在线办公、文件共享等常用企业合作功能，并具备灵活扩展的能力。 Nextcloud对接对象存储OBS可以最大化地降低存储成本，并让网盘空间能够灵活扩展 对接对象存储OBS的操作步骤如下： 2619 2620

本帖最后由 yd_2012_bpc 于 2018-1-10 11:16 编辑往OBS的桶里上传的对象是一个图片(*.jpg)或者是一个视频(*.mp4)时，在浏览器中输入OBS提示的对象下载地址时（通过bucketpolicy开放给匿名用户访问），浏览器会自动打开图片或者播放视频。如何做到将图片或者视频下载到本地，而不被浏览器打开呢？ 浏览器直接图片： 通过OBS console上传的图片，提示图片下载地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpg，浏览器输入该地址后，会直接打开。如果需要浏览器输入链接后，就能直接下载该图片（视频）则可以在OBS提示的地址后面加上一个参数‘response-content-disposition=attachment’，即，即浏览器中输入地址为http://yourbucketname.obs.myhwclouds.com/xxxxx.jpy?response-content-disposition=attachment就可以下载该对象。 浏览器直接播放视频或打开图片： 通过OBS console上传的图片或者视频，使用浏览器打开该图片或者视频的地址时，默认是打开图片或者播放视频。如果通过API，则需要在上传对象接口中携带“Content-Type ： audio/mp4”(这里是mp4视频), 浏览器打开时就可以直接播放视频。

本帖最后由 华为云存储 于 2017-9-21 16:50 编辑原料： （1）首先你要有1个华为云账号用于使用OBS的资源（打个小广告，OBS按需付费）； （2）然后你要有1个网址转换为二维码的工具（so easy， 百度“二维码生成器”，然后可以搜到一大片） 关键词： 二维码，OBS，静态网站托管，桶策略 ------分割线（下面是步骤）------ 步骤： Step1： 登录华为云账号-》点击控制台-》登录对象存储界面； Step2： 创1个Bucket，名字叫qrcode 上传1个Object，名字叫helloworld.jpg 2113 Step3：（关键步骤，关键步骤，关键步骤，重要事情说三遍并且标红） 开启静态网站托管功能 2114 记录访问地址（吐槽一下，好像没法实时显示出来，要再点击一次才会显示）： 2115 https://qrcode.obs-website.cn-north-1.myhwclouds.com Step4：（换个姿势，敲黑板划重点） 设置Bucket策略（这里简单描述下Bucket策略是对整个Bucket进行策略设置，如果要Object级别的策略设置可以用ACL） 2116 代码如下（把qrcode这个桶名换成你需要的桶名即可）[code]{ "Version":"2012-10-17", "Statement":[ { "Sid":"AddPerm", "Effect":"Allow", "Principal":{ "AWS":[ "*" ] }, "Action":[ "s3:GetObject" ], "Resource":[ "arn:aws:s3:::qrcode/*" ] } ] } [/code] Step5： 拼接网址生成二维码 域名（From Step3）：https://qrcode.obs-website.cn-north-1.myhwclouds.com 对象名：helloworld.jpg 那么网址就是：https://qrcode.obs-website.cn-north-1.myhwclouds.com/helloworld.jpg Step6: 百度一个二维码生成器把网址生成二维码即可 2117 PS： 下图是二维码 2118 二维码没法通过微信扫描到，但是QQ、支付宝、UC浏览器均可实现 斌仔推测应该是微信对域名有校验，因为木有一个备案的域名备案，所以会限制 解决方法： 找一个备案的域名，用华为云的域名解析服务，然后将真实域名指向https://qrcode.obs-website.cn-north-1.myhwclouds.com

本帖最后由 华为云存储 于 2017-9-20 11:41 编辑私有的Docker镜像会占用企业较大的存储空间，且内容重要，不容丢失。 对象存储则是最适合存放这类文件的平台。 Docker的官方文档： docker官方文档 这里给出使用Ubuntu 16.04 LTS版本搭建docker镜像源 并用华为云对象存储进行托管的方案: 使用harbor搭建docker registry，请参考CSDN这篇文章 使用S3fs来对接OBS， 需要安装并配置S3fs， 安装过程请参考华为云论坛这篇文章：【教程】使用S3fs让ECS虚拟机直接挂载OBS对象存储桶 在安装的harbor目录下配置docker-compose.yml文件： 1946 /mnt/res是在3.2中配置s3fs时的关联OBS桶的本地目录。也可以指定其他目录，但是必须与3.2中配置s3fs中的挂载地址一致。配置完毕后，在harbor目录下：[code]docker-compose up –d[/code]示例：[code]root@ubuntu:~/harbor/harbor# docker-compose up –d[/code] 至此安装结束，上传已有的镜像即可看到镜像已经存入了华为云对象存储OBS中： [code]docker push your-image-name[/code]示例： [code]docker push 10.0.0.3/test/swarm[/code]

使用华为云对象存储服务存储Git仓库 1 预置条件 已有Git 服务器，并且支持通过仓库配置仓库地址。 2 使用步骤 1. Git服务器安装S3FS apt-get install s3fs 2. 创建桶 http://support.hwclouds.com/qs-obs/zh-cn_topic_0045829030.html 3. 修改git 配置为一个不存在的目录，并重启服务。 root@ubuntu:~# cat /etc/gitlab/gitlab.rb |grep git_data_dirs git_data_dirs({ "default" => { "path" => "/mnt/git-data1", ´gitaly_address´ => ´unix:/var/opt/gitlab/gitaly/gitaly.socket´ } }) root@ubuntu:~# gitlab-ctl stop root@ubuntu:~# gitlab-ctl reconfigure 提示：挂在前不要迁移数据，否则s3fs 无法同步 root@ubuntu:~# gitlab-ctl start 查看新目录的权限 root@ubuntu:/mnt# ls /mnt -al | grep git-data1 drwx------ 3 git root 4096 Se 4. 挂载桶到指定目录，并赋予git 用户权限： 将有已有的AK、SK密钥文件，并修改权限为600，例如： root@ubuntu:~# vim etcpassword-s3fs(input AKSK) root@ubuntu:~# chmod 600 etcpass root@ubuntu:~# cat /etc/password-s3fs 查询git 用户的用户ID： root@ubuntu:~# cat /etc/passwd | grep git gitlab:x:1000:1000:gitlab,,,:/home/gitlab:/bin/bash gitlab-www:x:999:999::/var/opt/gitlab/nginx:/bin/false git:x: 998:998::/var/opt/gitlab:/bin/sh 指定域名将桶挂载到指定目录： root@ubuntu:s3fs dfv01 /mnt/git-data1 -o url=http://www.hwclouds.com/ -o passwd_file=/etc/password-s3fs -o connect_timeout=20 -o default_acl=public-read-write -o nonempty -o -d -o rw,allow_other,uid=998,gid=998 确保挂载有效，目录可以访问 root@ubuntu:/mnt/git-data1# ll total 12 drwx------ 3 git root 4096 Sep 4 23:20 ./ drwxrwxrwx 5 root root 4096 Sep 5 01:56 ../ drwxrws--- 5 git root 4096 Sep 5 02:34 reposit 5. 迁移已有工程目录到新的仓库： root@ubuntu:~# sudo rsync -av /var/opt/gitlab/git-data/repositories /mnt/git-data1/ 6. 重启数据库，如果configure 数据库失败，需要先umount root@ubuntu:~#gitlab-ctl stop root@ubuntu:~#gitlab-ctl reconfigure 7. 清除缓存，否则会找不到历史数据： root@ubuntu:~# redis-cli 127.0.0.1:6379> flushall OK root@ubuntu:~#gitlab-ctl start 3 常见问题 1. 挂载目录不能访问 原因1： 域名不通 原因2： 不具备Https 证书 原因3： 密钥文件内容或权限不正确 2. 访问历史工程返回404 原因1：检查步骤7中是否清除缓存 3. 创建新工程返回500 原因1：检查挂载后的目录对git 用户是否有访问权限 原因2：检查挂载目录是否可以访问

块存储 就好比硬盘一样, 直接挂在到主机, 一般用于主机的直接存储空间和数据库应用(如: mysql)的存储 分2中形式: [*]DAS: 一台服务器一个存储, 多机无法直接共享, 需要借助操作系统的功能, 如共享文件夹 [*]SAN: 金融电信级别, 高成本的存储方式, 涉及到光纤和各类高端设备, 可靠性和性能都很高, 除了贵和运维成本高, 基本都是好处 * 云存储的块存储: 具备SAN的优势, 而且成本低, 不用自己运维, 且提供弹性扩容, 随意搭配不同等级的存储等功能, 存储介质可选普通硬盘和SSD 文件存储 与较底层的块存储不同, 上升到了应用层, 一般指的就是 NAS ,一套网络储存设备, 通过TCP/IP进行访问, 协议为NFSv3/v4由于通过网络, 且采用上层协议, 因此开销大, 延时肯定比块存储高 一般用于多个云服务器共享数据, 如服务器日志集中管理, 办公文件共享 对象存储 具备块存储的高速以及文件存储的共享等特性, 较为智能, 有自己的CPU, 内存, 网络和磁盘, 比块存储和文件存储更上层, 云服务商一般提供用户文件上传下载读取的Rest API, 方便应用集成此类服务