- 1 背景介绍华为FusionInsight HD是一个分布式数据处理系统,对外提供大容量的数据存储、查询和分析能力。华为云对象存储服务OBS可以提供稳定、安全、高效、易用的云存储服务,并可以与FI对接,提供计算存储分离的大数据解决方案。2 部署视图3 FI对接OBS操作步骤3.1 Hadoop对接3.1.1 更新OBSFileSystem... 1 背景介绍华为FusionInsight HD是一个分布式数据处理系统,对外提供大容量的数据存储、查询和分析能力。华为云对象存储服务OBS可以提供稳定、安全、高效、易用的云存储服务,并可以与FI对接,提供计算存储分离的大数据解决方案。2 部署视图3 FI对接OBS操作步骤3.1 Hadoop对接3.1.1 更新OBSFileSystem...
- 故事的起因曾经把电脑里的很多照片、视频都上传到OBS中进行了备份。今天翻出来,发现有一个视频当时拍的很好,很有意义:是当年的老友们一起在夜里放孔明灯的视频。。。第一想法,就是发给大家看一看,重温一下。。。那很简单:下载到手机上微信给大家不就OK了!Or 把视频文件的路径发给大家,大家下载下来就可以播放了!没错!!!然鹅,我偏不!哈哈!IT人的特质:学以致用(正巧今天看了静态网站托管的介绍,感... 故事的起因曾经把电脑里的很多照片、视频都上传到OBS中进行了备份。今天翻出来,发现有一个视频当时拍的很好,很有意义:是当年的老友们一起在夜里放孔明灯的视频。。。第一想法,就是发给大家看一看,重温一下。。。那很简单:下载到手机上微信给大家不就OK了!Or 把视频文件的路径发给大家,大家下载下来就可以播放了!没错!!!然鹅,我偏不!哈哈!IT人的特质:学以致用(正巧今天看了静态网站托管的介绍,感...
- 对象存储的归档存储类型,由于其超低的存储价格和较短的数据检索和获取时间(分钟级别),得以在海量数据归档场景中占据重要的一席。虽然对比磁带库读取数据时需要的长时间操作流程:抓取磁带、介质加载、机械定位等机械操作,对象存储的归档存储分钟级别的数据读取时间已经足够短了,但在某些时刻我们还是需要更快读取数据,需要更加便利的下载操作,比如归档存储可以直接零等待下载,不需要等待,不需要执行恢复操作。华为... 对象存储的归档存储类型,由于其超低的存储价格和较短的数据检索和获取时间(分钟级别),得以在海量数据归档场景中占据重要的一席。虽然对比磁带库读取数据时需要的长时间操作流程:抓取磁带、介质加载、机械定位等机械操作,对象存储的归档存储分钟级别的数据读取时间已经足够短了,但在某些时刻我们还是需要更快读取数据,需要更加便利的下载操作,比如归档存储可以直接零等待下载,不需要等待,不需要执行恢复操作。华为...
- 此方案主要针对其他云厂商对象存储实时备份到华为云OBS,提供一种多云数据容灾方案。内容以阿里云OSS实时备份到华为云OBS为例。 此方案主要针对其他云厂商对象存储实时备份到华为云OBS,提供一种多云数据容灾方案。内容以阿里云OSS实时备份到华为云OBS为例。
- Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息, Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broke... Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息, Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broke...
- 从OBS的定价详情可以看出,所有请求都是要收费的,这里面也包含了Delete请求虽然价格不贵, 但删对象请求对于每个对象都会产生一次, 这样当删除的对象数达到亿级时, 也会产生100元费用。而OBS自身提供了一种免费的机制,即生命周期管理通过设定某一批对象的生命周期,实现自动过期删除,并且支持指定对象前缀。界面上配置如下生命周期删除的场景是自动周期性删除某个目录下过期对象,所以天数至少需要设... 从OBS的定价详情可以看出,所有请求都是要收费的,这里面也包含了Delete请求虽然价格不贵, 但删对象请求对于每个对象都会产生一次, 这样当删除的对象数达到亿级时, 也会产生100元费用。而OBS自身提供了一种免费的机制,即生命周期管理通过设定某一批对象的生命周期,实现自动过期删除,并且支持指定对象前缀。界面上配置如下生命周期删除的场景是自动周期性删除某个目录下过期对象,所以天数至少需要设...
- 1 背景介绍OBS桶策略可以给特定用户设置特定的权限。下面代码展示通过JAVA SDK给用户桶设置高级桶策略。2 代码展示需要先下载OBS最新的JAVA SDK,参考官网链接:https://developer.huaweicloud.com/sdk?OBS,并在自己的项目中导入SDK中的JAR包。前提条件:已创建OBS桶,例如my-bucket123设置的桶策略为:给用... 1 背景介绍OBS桶策略可以给特定用户设置特定的权限。下面代码展示通过JAVA SDK给用户桶设置高级桶策略。2 代码展示需要先下载OBS最新的JAVA SDK,参考官网链接:https://developer.huaweicloud.com/sdk?OBS,并在自己的项目中导入SDK中的JAR包。前提条件:已创建OBS桶,例如my-bucket123设置的桶策略为:给用...
- 全栈专属云解决方案中,如何将数据进行迁移是其中一个重要部分。就OBS数据而言,整理了一下迁移方案,仅供参考。 全栈专属云解决方案中,如何将数据进行迁移是其中一个重要部分。就OBS数据而言,整理了一下迁移方案,仅供参考。
- CDM(Cloud Data Migration)提供同构/异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。本文将以CDM迁移HDFS数据到华为云OBS为例,介绍CDM配置过程。 CDM(Cloud Data Migration)提供同构/异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。本文将以CDM迁移HDFS数据到华为云OBS为例,介绍CDM配置过程。
- 拉通专线以后,专线是到VPC,由于OBS的网段比较特殊,无法直接访问,需要使用VPC终端节点进行配置首先配置专线虚拟网关,VPC网段需包含OBS的网段100.125.0.0/16在VPC 终端节点分别购买OBS终端节点、DNS终端节点(用于解析出OBS内网地址)DNS终端节点买好效果如下:专线非华为云端需要配置DNS转发,将OBS相关域名转发到华为云的DNS终端节点以常见的DNS软件Bind... 拉通专线以后,专线是到VPC,由于OBS的网段比较特殊,无法直接访问,需要使用VPC终端节点进行配置首先配置专线虚拟网关,VPC网段需包含OBS的网段100.125.0.0/16在VPC 终端节点分别购买OBS终端节点、DNS终端节点(用于解析出OBS内网地址)DNS终端节点买好效果如下:专线非华为云端需要配置DNS转发,将OBS相关域名转发到华为云的DNS终端节点以常见的DNS软件Bind...
- 如何通过专线访问华为云OBS,本文通过实例,详细解析相关配置及业务流程。 如何通过专线访问华为云OBS,本文通过实例,详细解析相关配置及业务流程。
- 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前,华为云OBS可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势,且无扩容问题,使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件,更好的使用华为云对象存... 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前,华为云OBS可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势,且无扩容问题,使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件,更好的使用华为云对象存...
- OBS对象存储带有访问日志功能, 开启后桶的访问都可以记录下来配置方式:在桶的首页打开【日志记录功能】,如步骤图后可以在相应的日志桶的目录看到访问日志列表:打开后看到日志内容:可以看到对应的日志。日志格式参考表:表 Bucket Logging格式名称示例含义BucketOwner787f2f92b20943998a4fe2ab75eb09b8桶的ownerIdBucketbucket桶名T... OBS对象存储带有访问日志功能, 开启后桶的访问都可以记录下来配置方式:在桶的首页打开【日志记录功能】,如步骤图后可以在相应的日志桶的目录看到访问日志列表:打开后看到日志内容:可以看到对应的日志。日志格式参考表:表 Bucket Logging格式名称示例含义BucketOwner787f2f92b20943998a4fe2ab75eb09b8桶的ownerIdBucketbucket桶名T...
- Discuz! 论坛默认支持通过FTP的方式上传远程附件,我们可以轻易使用S3fs或者OBS的POSIX客户端,在本地挂载一个OBS目录,通过FTP服务器转发到应用进行使用。OBS的POSIX协议已经开放公测, 可以在这里申请开通https://account.huaweicloud.com/usercenter/#/supportindex/betaManagement?serviceCo... Discuz! 论坛默认支持通过FTP的方式上传远程附件,我们可以轻易使用S3fs或者OBS的POSIX客户端,在本地挂载一个OBS目录,通过FTP服务器转发到应用进行使用。OBS的POSIX协议已经开放公测, 可以在这里申请开通https://account.huaweicloud.com/usercenter/#/supportindex/betaManagement?serviceCo...
- “防盗链”顾名思义,是指防止其他人盗取自己资源的链接。随着互联网技术的发展,很多小网站直接把我们网站的资源拿去在他们网站展示,但是消费的是我们的流量,为了解决这种问题,才有了防盗链这个概念。下面以一个例子来说明。有A和B两个网站,A网站的信息(包括图片和音频视频信息)等静态资源保存在对象存储服务OBS的桶中。以1.png图片保存在bucket1中为例,bucket的权限为公共读权限,B网站未... “防盗链”顾名思义,是指防止其他人盗取自己资源的链接。随着互联网技术的发展,很多小网站直接把我们网站的资源拿去在他们网站展示,但是消费的是我们的流量,为了解决这种问题,才有了防盗链这个概念。下面以一个例子来说明。有A和B两个网站,A网站的信息(包括图片和音频视频信息)等静态资源保存在对象存储服务OBS的桶中。以1.png图片保存在bucket1中为例,bucket的权限为公共读权限,B网站未...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签