-
希望把OBS中超过500M的文件同步到notebook中,参考如下方法。但是,import moxing时,报no module named 'moxing'。然后,我试图pip install moxing时,报如下错误,请问是什么原因呢?sh-4.3$pip install moxingLooking in indexes: http://repo.myhuaweicloud.com/repository/pypi/simpleERROR: Could not find a version that satisfies the requirement moxing (from versions: none)ERROR: No matching distribution found for moxing
-
根据SDK文档中示例的程序进行文件上传,使用的是:以下代码展示了如何使用断点续传上传接口上传文件:String endPoint = "https://your-endpoint"; String ak = "*** Provide your Access Key ***"; String sk = "*** Provide your Secret Key ***"; // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); UploadFileRequest request = new UploadFileRequest("bucketname", "objectname"); // 设置待上传的本地文件,其中localfile为待上传的本地文件路径,需要指定到具体的文件名 request.setUploadFile("localfile"); // 设置分段上传时的最大并发数 request.setTaskNum(5); // 设置分段大小为10MB request.setPartSize(10 * 1024 * 1024); // 开启断点续传模式 request.setEnableCheckpoint(true);try{ // 进行断点续传上传 CompleteMultipartUploadResult result = obsClient.uploadFile(request); }catch (ObsException e) { // 发生异常时可再次调用断点续传上传接口进行重新上传 }针对同一个文件,使用相同的bucketname和objectname,但再次上传时,进度似乎不是从上次上传的位置返回的
-
https://blog.csdn.net/qq_38526635/article/details/81632971 转载对象存储概述 什么是对象存储(OSD)?存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。1999年成立的全球网络存储工业协会(SNIA)的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲,对象存储综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的分布式数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。SAN存储架构采用SCSI快I/O命令集,通过磁盘或FC(iber Channel)级的数据访问提供高性能的随机I/O个数据吞吐率,它具有高宽带、低时延的优势,在高性能计算中占有一席之地,如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的,但是由于SAN系统的价格较高,且扩展性较差,已不能满足成千上万个CPU规模的系统。NAS存储架构它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展行好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的西医开销高、带宽低、延迟大,不利于在高性能集群中使用。对象存储架构核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的只能,能够自动管理其上的数据分布。对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。1. 对象对象 是系统中数据存储的基本单位,每个Obeject是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位,块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性,从而简化了存储系统的管理任务,增加了灵活性。Object的大小可以不同,可以包含整个数据结构,如文件、数据表项等。在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问对象。通常由多种类型的对象,存储设备上的根对象标识存储设备和该设备的各种属性,组队象是存储设上共享资源管理策略的对象集合等。 传统的访问层次和虚拟数据访问模型2. 对象存储设备每个OSD都是一个智能设备,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的Object,是对象存储系统的核心。OSD同块设备的不同不在于存储介质,而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问、目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能:(1)数据存储。OSD管理对象数据,并将它们放置在标准的磁盘系统上,OSD不提供接口访问方式,Client请求数据时用对象ID、偏移进行数据读写。(2)智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSD可以智能地支持对象的预取,从而可以优化磁盘的性能。(3)每个对象数据的管理。OSD管理存储在其它对象上的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。而在传统的NAS系统中,这些元数据是由文件服务器提供的,对象存储架构将系统中主要的元数据管理工作由OSD来完成,降低了Client的开销。3. 元数据服务器(Metadata Server,MDS)MDS控制Client与OSD对象的交互,为客户端提供元数据,主要是文件的逻辑视图,包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能:(1)对象存储访问。MDS构造、管理描述每个文件分布的视图,允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力,OSD在接收到每个请求时先验证该能力,然后才可以访问。(2)文件和目录访问管理。MDS在存储系统上构建一个文件结构,包括限额控制、目录和文件的创建和删除、访问控制等。(3)Client Cache一致性。为了提高Client性能,在对象存储系统设计时通常支持Client的Cache。由于引入Client方的Cache,带来了Cache一致性的问提,MDS支持基于Client的文件Cache,当Cache的文件发生改变时,将通知Client刷新Cvashe,从而防止Cache不一致引发的问提。4. 对象存储系统的客户端Client为了有效支持Client支持访问OSD上的对象,需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的,同时为了提高性能,也具有对数据的Cache功能和文件的条带功能。同时,文件系统必须维护不同客户端上Cache的一致性,保证文件系统的数据一致。文件系统访问流程:1)客户端应用发出读请求;2)文件系统向元数据服务器发送请求,获取要读取的数据所在的OSD;3)然后直接向每个OSD发送数据读取请求;4)OSD得到请求后,判断要读取的Object,并根据此Object的认证方式,对客户端进行认证,如果客户端得到收授权,则将Object的数据返回给客户端;5)文件系统收到OSD返回的数据以后,读操作完成。对象存储文件系统的关键技术1、分布元数据 传统的存储结构元数据服务器通常提供两个主要功能。(1)为计算结点提供一个存储数据的逻辑视图(Virtual File System,VFS层),文件名列表及目录结构。(2)组织物理存储介质的数据分布(inode层)。对象存储结构将存储数据的逻辑视图与物理视图分开,并将负载分布,避免元数据服务器引起的瓶颈(如NAS系统)。元数据的VFS部分通常是元数据服务器的10%的负载,剩下的90%工作(inode部分)是在存储介质块的数据物理分布上完成的。在对象存储结构,inode工作分布到每个智能化的OSD,每个OSD负责管理数据分布和检索,这样90%的元数据管理工作分布到智能的存储设备,从而提高了系统元数据管理的性能。另外,分布的元数据管理,在增加更多的OSD到系统中时,可以同时增加元数据的性能和系统存储容量。2、并发数据访问 对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD。OSD是与网络连接的设备,它自身包含存储介质,如磁盘或磁带,并具有足够的智能可以管理本地存储的数据。计算结点直接与OSD通信,访问它存储的数据,由于OSD具有智能,因此不需要文件服务器的介入。如果将文件系统的数据分布在多个OSD上,则聚合I/O速率和数据吞吐率将线性增长,对绝大多数Linux集群应用来说,持续的I/O聚合带宽和吞吐率对较多数目的计算结点是非常重要的。对象存储结构提供的性能是目前其它存储结构难以达到的,如ActiveScale对象存储文件系统的带宽可以达到10GB/s。
W--wangzhiqiang
发表于2020-08-31 09:34:19
2020-08-31 09:34:19
最后回复
W--wangzhiqiang
2020-08-31 09:36:21
3992 1 -
一:基本定义对象存储,也叫做基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作为对象。就像文件一样,对象包含数据,但是和文件不同的是,对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里,一个对象不会属于另一个对象的下一级。文件和对象都有与它们所包含的数据相关的元数据,但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符,允许一个服务器或者最终用户来检索对象,而不必知道数据的物理地址。这种方法对于在云计算环境中自动化和简化数据存储有帮助。对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时,他就把钥匙交给别人,换来一张收据。这个顾客不用知道他的车被停在哪,也不用知道在他用餐时服务员会把他的车移动多少次。在这个比喻中,一个存储对象的唯一标识符就代表顾客的收据。 [1] 由于对象存储将遍布于很多节点且最新的数据并非总是可用,这将成为对象存储最终一致性的问题。 所有的数据存储都涉及到简称为CAP的三个元素:一致性、可用性和分区。 如果只是执行了写操作从而改变了一个对象,但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置,因为对象存储支持很大的地理扩展。新用户可能正在读取对象,但那是旧版本。这就是对象存储的最终一致性问题,此时并没有及时的同步。 这将成为问题,特别是利用对象存储做协同的时候,厂商为保证对象存储的一致性做了很好的工作,像是Joyent以及他的Manta 存储服务,一旦对象更改将不支持读取旧的内容。你必须等待,但你所读取的内容会是一致的。二:迁移访问企业对存储的诉求有一定的延续性,但其访问的介质不外乎是主机、PC、移动端以及应用,针对不同的访问介质来看,面向对象存储的解决方案也有所不同。然而如果应用软件不支持HTTP下REST API的方式,需要以传统文件服务器协议的方式访问,则需要在面向存储对象前面加一个网关进行协议的转换。没有了文件存储系统中的NFS或CIFS来给应用提供数据,面向对象的存储系统需要替换掉位于磁盘上的原始数据块和应用可以理解的文件之间的这个抽象层。面向对象的系统使用类似REST标准的API或者私有的API来告诉应用如何存储和读取对象标识。总体而言,对于面向对象的存储的操作的本质并不会改变。开源对象存储系统O基本上就是POST,GET ,PUT和 DELETE操作,如果需要上传大量的数据,则需要编写一个脚本就可以实现。三:平台选择基本上有四个选择:1.从当下各种厂商处购买完整功能的对象存储平台。2.购买对象存储软件并将其安装在你选择硬件上(服务器和存储)。3.在选择的文件和块存储整列中安装软件,这个阵列对现有存储增加了对象接口。4.使用网关解决方案连接现有应用到公有云四:使用方式对象存储根本上改变了存储蓝图。它处理和解决了曾经被认为是棘手的存储问题:不间断可扩展性、弹性下降、限制数据持久性、无限技术更新和成本失控。存储专家对其潜在的优势感到兴奋,尤其是他们的绝大多数数据都碰巧是被动的或者是冷数据。对象存储的本地应用程序接口是一个RESTful API。RESTful本质上是HTTP输入和输出,或者是互联网语言。这个语言对于Web浏览器是本地化的,但是对于大多数IT应用并非如此。这也为这个问题提供了一个答案,对RESTful API是一种检验,检测其变化、标准、事实标准以及在本地使用有哪些必须要做的事情,以及有哪些现成的软件可以实现。最佳的方式就是通过RESTful API使用对象存储系统。它是一个本地接口,具备最低延迟和最快的响应时间,能够同大多数的控制。
W--wangzhiqiang
发表于2020-08-31 09:30:44
2020-08-31 09:30:44
最后回复
W--wangzhiqiang
2020-08-31 09:30:44
3299 0 -
一:基本定义对象存储,也叫做基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作为对象。就像文件一样,对象包含数据,但是和文件不同的是,对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里,一个对象不会属于另一个对象的下一级。文件和对象都有与它们所包含的数据相关的元数据,但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符,允许一个服务器或者最终用户来检索对象,而不必知道数据的物理地址。这种方法对于在云计算环境中自动化和简化数据存储有帮助。对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时,他就把钥匙交给别人,换来一张收据。这个顾客不用知道他的车被停在哪,也不用知道在他用餐时服务员会把他的车移动多少次。在这个比喻中,一个存储对象的唯一标识符就代表顾客的收据。 [1] 由于对象存储将遍布于很多节点且最新的数据并非总是可用,这将成为对象存储最终一致性的问题。 所有的数据存储都涉及到简称为CAP的三个元素:一致性、可用性和分区。 如果只是执行了写操作从而改变了一个对象,但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置,因为对象存储支持很大的地理扩展。新用户可能正在读取对象,但那是旧版本。这就是对象存储的最终一致性问题,此时并没有及时的同步。 这将成为问题,特别是利用对象存储做协同的时候,厂商为保证对象存储的一致性做了很好的工作,像是Joyent以及他的Manta 存储服务,一旦对象更改将不支持读取旧的内容。你必须等待,但你所读取的内容会是一致的。二:迁移访问企业对存储的诉求有一定的延续性,但其访问的介质不外乎是主机、PC、移动端以及应用,针对不同的访问介质来看,面向对象存储的解决方案也有所不同。然而如果应用软件不支持HTTP下REST API的方式,需要以传统文件服务器协议的方式访问,则需要在面向存储对象前面加一个网关进行协议的转换。没有了文件存储系统中的NFS或CIFS来给应用提供数据,面向对象的存储系统需要替换掉位于磁盘上的原始数据块和应用可以理解的文件之间的这个抽象层。面向对象的系统使用类似REST标准的API或者私有的API来告诉应用如何存储和读取对象标识。总体而言,对于面向对象的存储的操作的本质并不会改变。开源对象存储系统O基本上就是POST,GET ,PUT和 DELETE操作,如果需要上传大量的数据,则需要编写一个脚本就可以实现。三:平台选择基本上有四个选择:1.从当下各种厂商处购买完整功能的对象存储平台。2.购买对象存储软件并将其安装在你选择硬件上(服务器和存储)。3.在选择的文件和块存储整列中安装软件,这个阵列对现有存储增加了对象接口。4.使用网关解决方案连接现有应用到公有云四:使用方式对象存储根本上改变了存储蓝图。它处理和解决了曾经被认为是棘手的存储问题:不间断可扩展性、弹性下降、限制数据持久性、无限技术更新和成本失控。存储专家对其潜在的优势感到兴奋,尤其是他们的绝大多数数据都碰巧是被动的或者是冷数据。对象存储的本地应用程序接口是一个RESTful API。RESTful本质上是HTTP输入和输出,或者是互联网语言。这个语言对于Web浏览器是本地化的,但是对于大多数IT应用并非如此。这也为这个问题提供了一个答案,对RESTful API是一种检验,检测其变化、标准、事实标准以及在本地使用有哪些必须要做的事情,以及有哪些现成的软件可以实现。最佳的方式就是通过RESTful API使用对象存储系统。它是一个本地接口,具备最低延迟和最快的响应时间,能够同大多数的控制。
-
欲实现微信小程序录音,并将音频文件上传至obs。在文档中看到说obs文件上传要使用本地文件路径,而小程序保存的录音为http临时文件。直接进行上传发现无法上传(桶中无新增文件),后来尝试上传本地文件,路径为c:/.....,结果也上传失败,请问可能是什么原因呢?下面是代码,我将obs上传部分又单独封装了一个函数,path为桶内的保存路径,event.src即文件路径path = event.bucket + '/' + event.id obsClient.putObject({ Bucket : path, Key : event.name, SourceFile : event.src, // body: event.body, }, (err, result) => { if(err){ console.error('Error-->' + err); }else{ console.log('Status-->' + result.CommonMsg.Status); } })
-
大家好:最近在使用OBS ,我目前的系统是WIN10 x64 安装了OBS Browser+工具,但是安装后OBS 客户端显示不正常,如图已经卸载重新安装过了,结果还是一样,请问有遇到此类问题的么?这个问题该如何处理?
-
https://github.com/huaweicloud/huaweicloud-sdk-browserjs-obs/blob/master/examples/upload-download-sample.html这个例子里面的我实现了,但是有个问题,function getObsClient(){/** Initialize a obs client instance with your account for accessing OBS*/var ak = document.getElementById('ak').value;var sk = document.getElementById('sk').value;var server = document.getElementById('server').value;return new ObsClient({access_key_id: ak,secret_access_key: sk,server : server,timeout : 60 * 5,});}直接在js创建ObsClient,里面的secret_key泄露了,会很不安全吧。请问,大神有其他方案吗?
-
使用的是文档中示例的 implementation 'com.huawei.storage:esdk-obs-android:3.1.3' 在子线程中调用上传,初始可以调用成功,进度回调通过日志可以看到,但过一会就会抛出异常: OBS servcie Error Message. Request Error: javax.net.ssl.SSLException: Write error: ssl=0x7f7a21f280: I/O error during system call, Broken pipe 请问,这个问题是什么引起的?如何解决这个问题? AK SK 不方便说明,但endpoint 为: https://obs.cn-south-1.myhuaweicloud.com
-
个人有一个思路是列举出桶内所有的对象,然后再获取最后一个对象的对象KEY值,将这个KEY值作为调用获取对象元数据的接口的对象名参数,不知道有没有其他更好的解决方法。用的是NODE.JS
123hahahah
发表于2020-08-16 18:43:34
2020-08-16 18:43:34
最后回复
W--wangzhiqiang
2020-08-18 11:47:07
1693 1 -
如下图,在华为云RDS控制台可以看到binlog但是除了登录到控制台进行下载,是否有办法通过接口或者其他方式获取到binlog?另外binlog是存储在什么地方的?有没有可以配置存储到OBS中?
-
发文的版块名:云社区-博客发文的标题名:【手摸手学ModelArts】偶遇OBS“惊天”大Bug!帖子内容链接:https://bbs.huaweicloud.com/blogs/186059如有不当之处,敬请提出改正,感谢!
-
如图。
-
华为云上很多用户都在用discuz和wordpress搭建自己的网站,ECS+OBS+RDS的部署方式可靠性高成本低廉,希望华为云能推出这两个程序配置OBS存储附件的方法,非常需要!!!
-
OBS的处理图片持久化文档和demo只有java的,有没有PHP的呢?
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签