- 01前言AutoMQ 作为一款使用对象存储作为主要存储介质的消息系统，在写入链路，会将所有 Partition 的数据在内存中进行攒批（同时持久化至 EBS），当攒批大小达到一定阈值则将该批次的数据上传至对象存储，通过这种方式，使得对象存储的 API 调用成本和文件数量仅和吞吐相关，且不会随着分区数量的增加而线性增大，如下图：在将攒批数据上传至对象存储的过程中可能产生两类对象（从分区到 St... 01前言AutoMQ 作为一款使用对象存储作为主要存储介质的消息系统，在写入链路，会将所有 Partition 的数据在内存中进行攒批（同时持久化至 EBS），当攒批大小达到一定阈值则将该批次的数据上传至对象存储，通过这种方式，使得对象存储的 API 调用成本和文件数量仅和吞吐相关，且不会随着分区数量的增加而线性增大，如下图：在将攒批数据上传至对象存储的过程中可能产生两类对象（从分区到 St...
- 什么是MinIOMinIO是一个高性能的对象存储服务，旨在为海量数据存储、人工智能、大数据分析等场景提供解决方案。MinIO主要采用Golang语言实现，并实现了大部分Amazon S3云存储服务接口，使得它非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO具有以下特点：高性能：MinI... 什么是MinIOMinIO是一个高性能的对象存储服务，旨在为海量数据存储、人工智能、大数据分析等场景提供解决方案。MinIO主要采用Golang语言实现，并实现了大部分Amazon S3云存储服务接口，使得它非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO具有以下特点：高性能：MinI...
- 客户端下载失败问题定位 客户端下载失败问题定位
- 客户端如何访问obs服务 客户端如何访问obs服务
- 1、创建获取创建obs表空间的参数创建obs并行文件系统，登录运营面,点击左上角“服务列表”--“对象存储服务3.0”--“对象存储”，点击“创建桶”，填入名称（ftobs1）,创建文件夹test1。---桶和文件夹名称根据实际情况赋予意义点击右上角头像--个人设置--管理访问秘钥--新增访问秘钥，获取AKSK,对应创建obs表空间参数access_key，secret_access_key... 1、创建获取创建obs表空间的参数创建obs并行文件系统，登录运营面,点击左上角“服务列表”--“对象存储服务3.0”--“对象存储”，点击“创建桶”，填入名称（ftobs1）,创建文件夹test1。---桶和文件夹名称根据实际情况赋予意义点击右上角头像--个人设置--管理访问秘钥--新增访问秘钥，获取AKSK,对应创建obs表空间参数access_key，secret_access_key...
- 第三章 存储类服务练习一、单项选择题1、关于对象存储服务提供的存储类别，以下错误的是？ (5.0分)A、低频访问存储B、标准存储C、归档存储D、备份存储答案:D2、以下哪一项不是华为云OBS桶的基本操作？ (5.0分)A、修改桶B、创建桶C、格式化桶D、删除桶答案:C3、云硬盘的存储容量单位是什么？ (5.0分)A、PBB、KBC、GBD、TB答案:C4、采用以下哪种方式无法有效... 第三章 存储类服务练习一、单项选择题1、关于对象存储服务提供的存储类别，以下错误的是？ (5.0分)A、低频访问存储B、标准存储C、归档存储D、备份存储答案:D2、以下哪一项不是华为云OBS桶的基本操作？ (5.0分)A、修改桶B、创建桶C、格式化桶D、删除桶答案:C3、云硬盘的存储容量单位是什么？ (5.0分)A、PBB、KBC、GBD、TB答案:C4、采用以下哪种方式无法有效...
- 前言随着数字化时代的到来，数据的规模和复杂性不断增长，传统存储方式面临着越来越多的挑战。为了满足当今企业对高效、可扩展、可靠的数据管理的需求，对象存储应运而生。本文将介绍对象存储与传统存储的区别，并探讨为什么对象存储成为了数据存储的新宠。 传统存储的限制在传统存储中，数据以块（block）或文件（file）的形式存储在物理设备（如硬盘）上。这种存储方式存在一些局限性：复杂性：传统存储需要使... 前言随着数字化时代的到来，数据的规模和复杂性不断增长，传统存储方式面临着越来越多的挑战。为了满足当今企业对高效、可扩展、可靠的数据管理的需求，对象存储应运而生。本文将介绍对象存储与传统存储的区别，并探讨为什么对象存储成为了数据存储的新宠。 传统存储的限制在传统存储中，数据以块（block）或文件（file）的形式存储在物理设备（如硬盘）上。这种存储方式存在一些局限性：复杂性：传统存储需要使...
- HCS有时候我们需要往DWS租户面上传文件，由于不能直接用工具传比较麻烦，这个时候就可以通过OBS上传。 HCS有时候我们需要往DWS租户面上传文件，由于不能直接用工具传比较麻烦，这个时候就可以通过OBS上传。
- 策略模式**是指有一定行动内容的相对稳定的策略名称。策略模式在古代中又称“计策”，简称“计”，如《汉书·高帝纪上》：“汉王从其计”。这里的“计”指的就是计谋、策略。策略模式具有相对稳定的形式，如“避实就虚”、“出奇制胜”等。一定的策略模式，既可应用于战略决策，也可应用于战术决策；既可实施于大系统的全局性行动，也可实施于大系统的局部性行动。 策略模式**是指有一定行动内容的相对稳定的策略名称。策略模式在古代中又称“计策”，简称“计”，如《汉书·高帝纪上》：“汉王从其计”。这里的“计”指的就是计谋、策略。策略模式具有相对稳定的形式，如“避实就虚”、“出奇制胜”等。一定的策略模式，既可应用于战略决策，也可应用于战术决策；既可实施于大系统的全局性行动，也可实施于大系统的局部性行动。
- 学习AI开发，避免不了要使用训练数据，这样就少不了要使用OBS。不同于EVS这些块存储产品，OBS是对象存储。用OBS来存储训练数据，那是比较自然的。那有人要问了，为什么不是EVS，那我就要说了，OBS更便宜呀EVS可以更贵，更强，有用于数据库、AI计算的很快速的SSD型的EVS，IOPS和吞吐量都很高，但是比较贵了不如OBS便宜量又足。所以说，OBS是基于对象的海量存储服务，重点是支持海量... 学习AI开发，避免不了要使用训练数据，这样就少不了要使用OBS。不同于EVS这些块存储产品，OBS是对象存储。用OBS来存储训练数据，那是比较自然的。那有人要问了，为什么不是EVS，那我就要说了，OBS更便宜呀EVS可以更贵，更强，有用于数据库、AI计算的很快速的SSD型的EVS，IOPS和吞吐量都很高，但是比较贵了不如OBS便宜量又足。所以说，OBS是基于对象的海量存储服务，重点是支持海量...
- pydoop pydoop
- 自定义镜像配置moxing连接OBS 自定义镜像配置moxing连接OBS
- 前言MinIO 是一款非常热门的开源对象存储服务器，能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持，专为 AI 等云原生工作负载而设计。包括构建高性能的云原生数据机器学习、大数据分析、海量存储的基础架构等方面，MinIO 都可以提供数据工作负载。有数据统计，在中国大陆，很多企业，比如阿里巴巴、腾讯、百度、中国联通、华为、中国移动等9000多家企业也都在使用 Min... 前言MinIO 是一款非常热门的开源对象存储服务器，能够完美兼容亚马逊的 S3 协议, 对 K8s 也能够进行非常友好的支持，专为 AI 等云原生工作负载而设计。包括构建高性能的云原生数据机器学习、大数据分析、海量存储的基础架构等方面，MinIO 都可以提供数据工作负载。有数据统计，在中国大陆，很多企业，比如阿里巴巴、腾讯、百度、中国联通、华为、中国移动等9000多家企业也都在使用 Min...
- 新上线功能， 在运行中的Notebook上直接挂载OBS目录、 挂载后， 可以像本地文件系统的方式操作桶中对象。 新上线功能， 在运行中的Notebook上直接挂载OBS目录、 挂载后， 可以像本地文件系统的方式操作桶中对象。
上滑加载中
推荐直播
-
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
回顾中 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
回顾中 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签