- 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs... 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs...
- 前言Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。你可以将 Tigris 用于多种场景，例如：实时应用程序的存储网页内容与媒体（图片、视频等）物联网（IoT）应用程序的存储数据分析、大数据及批处理机器学习模型和数据集的存储备份与归... 前言Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。你可以将 Tigris 用于多种场景，例如：实时应用程序的存储网页内容与媒体（图片、视频等）物联网（IoT）应用程序的存储数据分析、大数据及批处理机器学习模型和数据集的存储备份与归...
- 对于设备上报的数据，可以选择让华为云IoT平台将设备上报数据推送给应用服务器，由应用服务器进行保存；还可以选择让平台将设备上报数据转发给对象存储服务（OBS），由OBS进行存储。本文将介绍数据转发至OBS长期储存。 对于设备上报的数据，可以选择让华为云IoT平台将设备上报数据推送给应用服务器，由应用服务器进行保存；还可以选择让平台将设备上报数据转发给对象存储服务（OBS），由OBS进行存储。本文将介绍数据转发至OBS长期储存。
- 在modelarts平台部署自动学习任务 在modelarts平台部署自动学习任务
- 一 背景随着kubernetes和微服务架构的兴起,单体架构逐渐被分布式架构所取代。而传统的监控系统Prometheus更适用于单体架构,对于大规模的分布式集群监控就力不从心。因此,需要一种全新的监控方案来解决这个痛点。Thanos应运而生,它是Prometheus的云原生解决方案。 二 概述Thanos是一个可水平扩展的开源监控系统。它提供了全局查询视图、历史数据访问、无限存储以及跨集群... 一 背景随着kubernetes和微服务架构的兴起,单体架构逐渐被分布式架构所取代。而传统的监控系统Prometheus更适用于单体架构,对于大规模的分布式集群监控就力不从心。因此,需要一种全新的监控方案来解决这个痛点。Thanos应运而生,它是Prometheus的云原生解决方案。 二 概述Thanos是一个可水平扩展的开源监控系统。它提供了全局查询视图、历史数据访问、无限存储以及跨集群...
- 一 背景随着云计算和大数据技术的快速发展，越来越多的组织和企业选择将数据存储在云端的对象存储服务中。对象存储服务提供了高可靠性、可扩展性和低成本的存储解决方案，因此成为了许多应用场景的首选。S3（Simple Storage Service）是亚马逊AWS提供的一种对象存储服务，许多云厂商也提供了与S3类似的存储服务。S3协议定义了一套用于访问和管理存储在对象存储中的数据的API接口，使得开... 一 背景随着云计算和大数据技术的快速发展，越来越多的组织和企业选择将数据存储在云端的对象存储服务中。对象存储服务提供了高可靠性、可扩展性和低成本的存储解决方案，因此成为了许多应用场景的首选。S3（Simple Storage Service）是亚马逊AWS提供的一种对象存储服务，许多云厂商也提供了与S3类似的存储服务。S3协议定义了一套用于访问和管理存储在对象存储中的数据的API接口，使得开...
- 一 背景随着云计算和大数据技术的快速发展，越来越多的组织和企业选择将数据存储在云端的对象存储服务中。对象存储服务提供了高可靠性、可扩展性和低成本的存储解决方案，因此成为了许多应用场景的首选。S3（Simple Storage Service）是亚马逊AWS提供的一种对象存储服务，许多云厂商也提供了与S3类似的存储服务。S3协议定义了一套用于访问和管理存储在对象存储中的数据的API接口，使得开... 一 背景随着云计算和大数据技术的快速发展，越来越多的组织和企业选择将数据存储在云端的对象存储服务中。对象存储服务提供了高可靠性、可扩展性和低成本的存储解决方案，因此成为了许多应用场景的首选。S3（Simple Storage Service）是亚马逊AWS提供的一种对象存储服务，许多云厂商也提供了与S3类似的存储服务。S3协议定义了一套用于访问和管理存储在对象存储中的数据的API接口，使得开...
- 在现代的网络应用中，处理大文件上传是一个常见的需求。然而，传统的上传方式往往会受到网络限制和服务器性能的影响，导致用户体验不佳。为了解决这个问题，我们可以使用华为云的对象存储服务（OBS）以及Spring Boot和Vue框架来实现大文件切片上传，并提供稳定高效的用户体验。本文将详细介绍如何使用Spring Boot和Vue框架，集成华为云OBS来实现大文件切片上传。我们将分为以下几个部分进... 在现代的网络应用中，处理大文件上传是一个常见的需求。然而，传统的上传方式往往会受到网络限制和服务器性能的影响，导致用户体验不佳。为了解决这个问题，我们可以使用华为云的对象存储服务（OBS）以及Spring Boot和Vue框架来实现大文件切片上传，并提供稳定高效的用户体验。本文将详细介绍如何使用Spring Boot和Vue框架，集成华为云OBS来实现大文件切片上传。我们将分为以下几个部分进...
- 本文旨在介绍购买ModelArts Server后，如何高效便捷的进行资源配置，包括服务器的网络、存储、GPU/NPU软件、监控等， 并给出服务器配置完备的验证指南。 本文旨在介绍购买ModelArts Server后，如何高效便捷的进行资源配置，包括服务器的网络、存储、GPU/NPU软件、监控等， 并给出服务器配置完备的验证指南。
- 本文主要通过对比传统容灾与HyperBDR的两种云容灾方式，直观地向工程师们展示不同容灾方式下需要消耗的云容灾成本，从而帮助工程师们找到最具性价比的华为云容灾解决方案。 本文主要通过对比传统容灾与HyperBDR的两种云容灾方式，直观地向工程师们展示不同容灾方式下需要消耗的云容灾成本，从而帮助工程师们找到最具性价比的华为云容灾解决方案。
- 文章概要 准备工作 1. 安装Python 2. 安装华为云Python SDK 3. 获取华为云OBS的访问凭证 编写Python代码 运行Python脚本 总结 文章概要华为云对象存储（Object Storage Service，简称OBS）是一种可扩展、安全可靠的云存储服务。产品地址为：https://www.huaweicloud.com/product/obs.html本篇博客... 文章概要 准备工作 1. 安装Python 2. 安装华为云Python SDK 3. 获取华为云OBS的访问凭证 编写Python代码 运行Python脚本 总结 文章概要华为云对象存储（Object Storage Service，简称OBS）是一种可扩展、安全可靠的云存储服务。产品地址为：https://www.huaweicloud.com/product/obs.html本篇博客...
- 无论什么项目，大概都少不了图片上传。作为常见的需求，很多地方会使用到，应该单独封装一个上传组件，方便复用。 无论什么项目，大概都少不了图片上传。作为常见的需求，很多地方会使用到，应该单独封装一个上传组件，方便复用。
- @toc 1、MinIO简介MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 M... @toc 1、MinIO简介MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 M...
- 在互联网时代，数据量的快速增长已成为了一种普遍的趋势。随着云计算技术的发展，云存储服务成为了存储和管理大量数据的一种重要手段。华为云对象存储服务（OBS）作为一种高可靠、高可用、高性能的云存储服务，得到了广泛的应用和认可。在使用华为云OBS上传大文件时，我们可以使用Java代码实现，本文将介绍利用Java代码上传大文件至华为云OBS的方法。 一、准备工作在开始编写Java代码之前，我们需要先... 在互联网时代，数据量的快速增长已成为了一种普遍的趋势。随着云计算技术的发展，云存储服务成为了存储和管理大量数据的一种重要手段。华为云对象存储服务（OBS）作为一种高可靠、高可用、高性能的云存储服务，得到了广泛的应用和认可。在使用华为云OBS上传大文件时，我们可以使用Java代码实现，本文将介绍利用Java代码上传大文件至华为云OBS的方法。 一、准备工作在开始编写Java代码之前，我们需要先...
- 华为对象存储OBS（Object Storage Service）是一种高可用、高可靠、高性能的云存储服务，能够为企业和个人用户提供强大的数据存储和管理功能。本文将对华为对象存储OBS的特点、优势和未来发展进行详细介绍。 一、华为对象存储OBS的特点1.对象存储：华为对象存储OBS采用对象存储技术，将数据以对象的形式进行存储和管理，避免了传统文件系统存储方式中的文件层级结构和文件系统限制，具... 华为对象存储OBS（Object Storage Service）是一种高可用、高可靠、高性能的云存储服务，能够为企业和个人用户提供强大的数据存储和管理功能。本文将对华为对象存储OBS的特点、优势和未来发展进行详细介绍。 一、华为对象存储OBS的特点1.对象存储：华为对象存储OBS采用对象存储技术，将数据以对象的形式进行存储和管理，避免了传统文件系统存储方式中的文件层级结构和文件系统限制，具...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签