• [互动交流] 如何通过S3协议访问obs
    各位专家,    请教一下, 想用s3协议访问obs存储。是用obs api就可以吗?还是有 s3 api? 我在华为官网上没有找到s3 api的使用指南和demo
  • [互动交流] RPA怎么根据sheet页拆分为多个excel表格
    RPA能创建excel文件吗?能将excel拆分为多个excel文件吗
  • [互动交流] OBS生成的下载链接可以限制生成的链接的下载次数吗?
    用户考虑到私密下载链接可能被窃取,是否可以限制下载链接的下载次数
  • [互动交流] 桶里的文件夹可以修改文件名吗?
    如题,OBS的桶里的文件夹可以修改文件名吗?找不到地方改
  • [热门活动] 【DevRun成长计划——Serverless专场学习笔记】
    对此活动有了深刻地学习和认知,并将结果截图和个人心得放入了文档里,还得努力学习,多学多看多做!
  • [互动交流] 分段上传大文件,超过200M的时候。下载下来的文件MD5和源文件不一致
    分段上传大文件,超过200M的时候。下载下来的文件MD5和源文件不一致
  • [热门活动] 华为云存储双十二年底大促已抵达,速速戳!!
    剁手吗?朋友今年华为云存储双十二年底大促活动已经开始了, 云存储·热销专场福利超多,诚意满满!OBS单AZ存储包 100G/500G 包年5折 仅限新用户;CBR云服务器备份 500G 包年5折 仅限新用户;新老同享规格,包年6折,6个月65折;购买组合套餐 更享折上折!!活动时间:2022年12月9日——31日记得戳中活动地址或者扫描图片二维码进入热销会场,开始我们的上云之旅吧~cid:link_0
  • [互动交流] GO SDK获取临时安全凭证的方法
    看了下最新的GO SDK 3.22.11,似乎没找到获取临时安全凭证的方法?
  • [互动交流] 使用华为Obs官方提供PHP版本SKD上传图片文件报错,频繁出现下列问题导致上传文件失败
    ERROR - 2022-12-07 18:05:29 --> Severity: Warning --> fread(): SSL: Connection reset by peer /dev/third_party/huaweicloud-obs/vendor/guzzlehttp/psr7/src/Stream.php 231ERROR - 2022-12-07 17:32:56 --> Severity: error --> Exception: Argument 1 passed to Obs\ObsClient::Obs\Internal\{closure}() must be an instance of GuzzleHttp\Exception\RequestException, instance of GuzzleHttp\Exception\ConnectException given, called in /dev/third_party/huaweicloud-obs/vendor/guzzlehttp/promises/src/Promise.php on line 204 /dev/third_party/huaweicloud-obs/Obs/Internal/SendRequestTrait.php 640
  • 【cmwill】存储对比
    SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景。NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。利用FTP+TFTP协议进行上传下载,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据作为后端存储为客户打造的离线存储系统,性价比高……)维度对象存储服务云硬盘弹性文件服务概念提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。存储数据的逻辑存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。访问方式可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。使用场景如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。如高性能计算、企业核心集群应用、企业应用系统和开发测试等。如高性能计算、媒体处理、文件共享和内容管理和Web服务等。容量EB级别TB级别PB级别时延10ms亚毫秒级3~10msIOPS/TPS千万级单盘 128K单文件系统 10K带宽TB/s级别MB/s级别GB/s级别是否支持数据共享是是是是否支持远程访问是否是是否支持在线编辑否是是是否能单独使用是否是
  • [交流分享] 块存储、文件存储、对象存储的概念、特点、使用场景和区别
    ↵块存储: SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景;弹性文件服务:NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问,利用FTP+TFTP协议进行上传下载,此外,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)对象存储:对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据、作为后端存储为客户打造的离线存储系统,性价比高…)一、块存储1.概述块存储是将裸磁盘空间整个映射给主机使用的,比如磁阵中有3块1T硬盘,可以选择直接将裸设备给操作系统使用(此时识别出3个1T的硬盘),也可以划分经过RAID、逻辑卷等方式划分出多个逻辑的磁盘供系统使用(比如划分为6个500G的磁盘),主机层面操作系统识别出硬盘,但是操作系统无法区分这些映射上来的磁盘到底是真正的物理磁盘还是二次划分的逻辑磁盘,操作系统接着对磁盘进行分区、格式化,与我们服务器内置的硬盘没有什么差异。块存储不仅仅是直接使用物理设备,间接使用物理设备的也叫块设备,比如虚机创建虚拟磁盘。VMware、VirtualBox都可以创建虚拟磁盘,虚机创建的磁盘格式包括raw、qcow2等,这与主机使用的裸设备不一样,且有不同的应用场景。2.特点(1)优点通过RAID与LVM等手段,对数据提供了保护(RAID可实现磁盘的备份和校验,LVM可以做快照);RAID将多块廉价的硬盘组合起来,构建大容量的逻辑盘对外提供服务,性价比高;写数据时,由于是多块磁盘组合成的逻辑盘,可以并行写入,提升了读写效率;很多时候块存储采用SAN架构组网,传输速率以及封装协议的原因,使得传输速度与读写速率得到提升。(2)缺点采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要买光纤交换机,造价成本高;不利于不同操作系统主机间的数据共享,因为操作系统使用不同的文件系统,格式化完成后,不同文件系统间的数据是无法共享的。3.典型设备磁盘、磁盘阵列4.应用场景一般用于主机的直接存储空间和数据库应用的存储分两种形式:DAS:一台服务器一个存储,多机无法直接共享,需要借助操作系统的功能,如共享文件夹;SAN:金融电信级别,成本较高,但是可提供高性能和高可靠服务。云存储的块存储:具备SAN的优势,成本低,可提供弹性拓容,存储介质可选普通硬盘和SSD。5.主流技术Microsoft:Azure Block StorageGoogle:Google Block StorageAmazon:Elastic Block Storag(EBS)OpenStack:Cinder其他:Ceph RBD、sheepdog二、文件存储1.概述为了克服块存储无法共享的问题,所以就有了文件存储。文件存储也有软硬一体化的设备,用一台普通服务器/笔记本,只要安装上合适的操作系统与软件,就可以对外提供FTP与NFS服务。2.特点(1)优点造价较低:只需要普通机器和普通网络即可满足需求,不需要专用的SAN网络;方便文件共享。(2)缺点读写速率低,传输速率慢:以太网,上传下载速度较慢,另外读写操作都分布到单台服务器,与磁阵的并行写相比性能差距较大。3.典型设备FTP、NFS服务器4.应用场景与偏向底层的块存储不同,文件存储上升到了应用层,一般指的是NAS。一套网络存储设备,通过TCP/IP进行访问,协议为NFSv3/v4由于通过网络,且采用上层协议,因此开销大,延时肯定比块存储高,一般用于多个云服务器共享数据,如存放共享文件等。5.主流技术Microsoft;Windows Azure文件共享存储Google:Google FileStorage(GFS)Amazon:Elastic File Storage(EFS)OpenStack:Swift其他:CephFS、HDFS、NFS、CIFS、Samba、FTP三、对象存储1.概述之所以出现对象存储,是为了克服块存储与文件存储的缺点,发扬他俩各自的优点。简单地说,块存储读写块,不利于共享,文件存储读写慢,利于共享。为什么对象存储兼具块存储与文件存储的好处,还要使用块存储或文件存储呢?有一类应用是需要存储直接裸盘映射的,例如数据库。因为数据库需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对裸盘进行格式化,所以是不能够采用其他已经被格式化为某种文件系统的存储的。数据库更适合使用块存储。对象存储的成本比普通的文件存储高,需要购买专门的对象存储软件以及大容量硬盘。2.特点(1)优点结合了块存储与文件存储的优点(2)缺点数据库等追求高性能的应用更适合采用块存储。对象存储的成本比普通的文件存储还是较高。3.典型设备内置大容量硬盘的分布式服务器。4.应用场景对象具备块存储的高速以及文件存储的共享等特性,有自己的CPU、内存、网络和磁盘,比块存储和文件存储更上层。云服务商一般提供用户文件上传下载读取的REST API,方便应用集成此类服务。5.主流技术Microsoft:Azure StorageGoogle:Google Cloud StorageAmazon:Simple Storage Service(S3)OpenStack:Swift其他:Ceph OSD四、对比1.块存储 VS 文件存储物理块与文件系统之间的关系图:映射关系:扇区->物理块->逻辑块->文件系统块级备份:块级备份是指物理块复制,效率高,实时性强,备份时间短,且增量备份时,只备份修改过的物理块。文件级备份:文件级备份是指在指定某些文件进行备份时,首先会查找每个文件逻辑块,其次物理块,由于逻辑块是分散在物理块上,而物理块也是分散在不同扇区上。需要一层一层往下查找,最后才完成整个文件复制。文件级备份比较费时间,效率不高,实时性不强,备份时间长,且增量备份时,单文件某一小部分修改,不会只备份修改部分,而是整个文件都备份。2.文件存储 VS 对象存储对象存储:大多数对象存储的实现本质是键值对存储系统;采用扁平化的管理方式(根据键找到值);值可以是任何东西,可以是小文件(小二进制片段),可以是大文件;对象存储一般不支持追加写和更新,面向的是一次写入,多次读取的需求场景;多采用Restful API。文件存储:不考虑底层到底是怎么实现的;采用目录结构管理数据;一般要尽可能兼容Posix文件系统API。一、文件存储文件存储是最常见的存储类型之一。大多数人从日常的计算机使用中熟悉它。考虑一个简单的案例:您将最近旅行中的照片存储在个人笔记本电脑/台式机上。首先,创建一个名为“我的旅行”的文件夹。现在,您可以在此文件夹下添加名为“我的收藏夹”的另一个文件夹,并将您喜爱的照片放入其中。通过这种方式,您将文件组织为具有文件夹和子文件夹的分层结构,并可以使用文件夹/文件路径访问它们。以这种方式存储文件时,它附加的元数据有限,例如创建日期、修改日期和文件大小。随着数据量的增长,这种简单的组织架构可能会引发问题。性能可能下降是因为文件系统上的资源需求不断增加以跟踪文件和文件夹,并且这些“结构”问题无法通过简单地增加文件系统可用的存储空间来解决。尽管存在大规模潜在问题,但文件系统在工作场所和大中型企业中使用的个人计算机和服务器上的日常使用情况良好。通常在硬盘驱动器和网络连接存储(NAS)系统上看到并部署文件存储。二、对象存储对象存储是一种数据存储,其中每个数据单元(称为“对象”)作为离散单元存储。这些对象实际上可以是任何类型的数据:pdf,视频,音频,文本,网站数据或任何其他文件类型。与文件存储相反,这些对象存储在单个平面结构中,没有文件夹层次结构。在对象存储中,与文件存储使用的嵌套分层结构不同,所有对象都存储在平面地址空间中。此外,所有默认和自定义元数据都与对象本身(不作为单独的文件系统表或索引的一部分)一起存储在具有唯一标识符的平面地址空间中,并且这种方式变得更容易索引和访问。对象存储在基于云的存储方案中非常常见,可用于以极高的可伸缩性和可靠性管理,处理和分发内容。平面寻址方案意味着访问单个对象既快速又简单:对象名称可以作为查找表中的“键”。对象存储系统只需要知道您要查找的对象的键(名称),然后可以使用查找表快速轻松地将其返回给您。三、块存储对象存储和文件存储都将文件视为单个“数据单元”。正如名称所示,块存储将数据视为一系列固定大小的“块”,其中每个文件或对象可以分布在多个块上。不需要连续存储这些块。每当用户请求该数据时,底层存储系统将数据块合并在一起并提供用户请求。这可以在不需要分层结构的情况下实现,因为每个块具有不同且唯一的地址并且独立于所有其他块而存在。在某些情况下,块存储可以非常快速地检索数据,因为不一定需要读取数据的一条路径(想象一下磁盘阵列,其中可以从多个磁盘读取同一文件的数据)。块存储也实现了高效率,因为块可以存储在最方便的地方(表示相同文件或对象的块不需要彼此相邻地存储)。但是,块存储通常很昂贵,并且处理元数据的能力有限(对象或文件级概念),这些需要在应用程序级别进行处理。块存储通常部署在存储区域网络(SAN)存储中。在大多数应用程序中,对象或文件存储实际上是底层块存储之上的一层。您可以将块存储视为构建文件存储系统的基础。下表比较了不同类型存储的不同功能。块存储是“高度结构化的”,因为每个数据块都排列在结构化的固定块中,以便于索引和搜索。文件存储以分层方式被索引和“结构化”,并且对象存储是“非结构化的”,因为没有用于数据存储的格式或结构,而是存在简单的对象列表。简单来说,“数据一致性”可以理解为存储系统所做的读取,写入和更新保证,例如最近写入的对象是否可以立即回读。“访问级别”是用户必须访问和操作数据的权限级别。能力对象存储文件存储块存储一致性最终一致性强一致性强一致性结构非结构化层级结构以块为结构存储级别对象级别文件级别块级别云硬盘、弹性文件服务、对象存储的区别云硬盘、弹性文件服务、对象存储服务的区别_什么是云硬盘_云硬盘 EVS-华为云 (huaweicloud.com)
  • [微服务类] GITHUB上提的issues没人回复,新版本导致堆栈溢出,java.lang.StackOverflowError
    GITHUB上提的issues没人回复,新版本导致堆栈溢出,java.lang.StackOverflowError。https://github.com/huaweicloud/huaweicloud-sdk-java-obs/issues/108https://github.com/huaweicloud/huaweicloud-sdk-java-obs/issues/110
  • IAM创建委托,委托类型选择云服务,找不到OBS服务,如何解决
    IAM创建委托,委托类型选择云服务,找不到OBS服务,如何解决
  • [热门活动] 【DevRun成长计划——Serverless专场学习笔记】
    完成实操截图实践一:10分钟开发我的个人主页实践二: OBS自动化文件解压实践三:定时拨测场景学习笔记Serverless是什么?- CNCF定义:—种新的云原生计算模型,无需服务器管理而构建和运行应用程序的架构。一个或多个功能的应用上传到平台后执行、扩展和计费.- 信通院定义:以应用为中心,无需关注基础设施的计算模式,FaaS不是其唯—形态。serverless是一整套能力的合集,越来越多的第三方服务演进为全托管的Serverless形态Serverless 函数计算的价值数据来源:IBM 2021调研报告- 36%成本- 34%性能- 33%弹性- 30%效率- 29%人力- 27%简易管理- 28%GTMServerless函数计算适用场景:Web类应用、loT、媒体处理类应用、AI处理应用Serverless典型场景:Web/App/小程序后端、BFF/SSR、事件触发、服务间快速集成、视频转码函数工作流、安全运维函数工作流
  • [热门活动] 【DevRun成长计划——Serverless专场学习笔记】
    完成实操截图实践一:10分钟开发我的个人主页实践二: OBS自动化文件解压实践三:定时拨测场景学习笔记:Serverless是什么?CNCF定义:—种新的云原生计算模型,无需服务器管理而构建和运行应用程序的架构。一个或多个功能的应用上传到平台后执行、扩展和计费信通院定义:以应用为中心,无需关注基础设施的计算模式,FaaS不是其唯—形态。serverless是一整套能力的合集,越来越多的第三方服务演进为全托管的Serverless形态Serverless函数计算适用场景Web类应用解放端侧开发,让端开发者更快、更灵活开发各种应用,无需关注后端服务- 小程序后端- web后端- 问答机器人- 前端BFFloT、媒体处理类应用以事件驱动的方式执行服务,按需供给,开发者无需关注业务波峰波谷,节省闲时成本,最终降低运维的成本- 实时图片处理- 实时数据流处理- IoT事件处理- 运维告警处理AI处理应用各行各业智能化深入带来更多的应用开发历景,通常需要集成各类服务快速上线- 视频直播- AI推理- 人脸识别- 车牌识别典型场景一: Web/App/小程序后端场景需求特点:业务变化快,上线周期短函数计算优势:无需管理服务器开发上线快典型场景二: BFF/SSR场景需求特点:BFF/SSR和业务强相关,通常由前端开发,但前端并不擅长服务器的部署、运维函数计算优势:无需管理服务器、前端可使用熟悉的技术栈开发典型场景三:事件触发场景需求特点:业务事件频次不高或波峰波谷明显函数计算优势:按需付费、毫秒级自动弹性典型场景四:服务间快速集成场景需求特点∶1、业务需要串联多个服务,被集成服务提供了API或 SDK2、业务创新需要方案能快速打通试错,并具有一定的扩展性函数计算优势∶多语言开发,事件驱动特性方便对接各类服务按需自动弹性即保证了扩展性又兼顾了成本典型场景五:视频转码函数工作流场景需求特点:多步骤弹性并发处理,步骤耗时长需要容错函数工作流优势:自动弹性满足大并发、状态维护,失败重试保证可靠典型场景六∶安全运维函数工作流场景需求特点:1.灵活编排2.自动化和人工处理相结合函数工作流优势∶编排更灵活,支持深度自定义逻辑通知+回调的方式支持人工介入流程FunctionGraph 2.0:基于华为元戎的新一代函数计算与编排服务,8大特性发布特性1:丰富的函数开发语言及触发方式让设计更灵活特性2∶可视化拖拽式函数流支持编排复杂业务场景特性3∶统一插件支持云上和云下的开发与调试特性4 : Http函数让WEB服务近乎0成本改造,享受Serverless优势能力特性5∶函数支持容器镜像,简化应用Serverless化特性6∶函数支持在运行时动态指定资源,灵活调度节省成本特性7∶百毫秒冷启动时延,单实例多并发,毫秒级弹性特性8 : 1ms粒度按量计费,节省开支Serverless架构优势秒级快速上线毫秒级弹性伸缩,天然高可用免运维函数代码即服务按实际使用毫秒级计费无需为闲置资源付费启动成本低
总条数:1487 到第
上滑加载中