• [问题求助] 求解析上传obs地址的dns ip
    我现在有一个上传obs日志的需求,在需要用从obs服务器获取的地址来上传,但是本地无法解析获取到的地址,因此想指定dns ip来上传。有谁知道obs的dns ip一般是什么吗
  • [问题求助] 【SIS】【SIS】语音服务不支持跨区访问OBS
    使用的北京4的SIS服务,配合北京4的OBS存放的音频文件,是没问题的。如图!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/13/1647147751549860871.png)按帮助里说的,SIS可以支持其他区域的OBS的,只是说优先推荐使用同REGION下的OBS["EI企业智能服务对于图片、语音等多媒体文件支持直接使用华为云OBS服务的数据处理方式,以减少服务使用成本,降低服务的响应时长,提升服务使用的体验。语音交互服务优先推荐使用同一region下OBS的音频链接作为传入音频的URL。"](https://support.huaweicloud.com/api-sis/sis_03_0047.html)而实际上,跨区域服务是会报错的,当使用广州的OBS时,如图:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/13/1647148077013562986.png)
  • [问题求助] obs服务端是不是同时也支持aws v2 和aws v4签名
    因业务需要,我们要在Amazon s3和obs之间切换。如果obs服务端也支持aws的签名,那我们就可以轻松迁移了。求大佬解答一下
  • [知识分享] OBS数据跨region内网复制
    >摘要:使用华为云云服务云连接CC、VPC终端节点VPCEP2.0以及obsutil工具,实现跨Region内网复制OBS数据# 目录>方案背景>迁移方案>迁移过程>>创建目标端OBS并配置Vpcep>>云连接打通VPC>>安装并配置obsutil>>数据复制>实践总结## 1.方案背景业务系统跨region迁移,需要将OBS桶上的业务数据迁移到新region 。由于OBS数据涉及到用户敏感信息,希望通过内网方式实现OBS的数据迁移。此迁移方式适用于迁移数据量小,且可短时间停止业务的系统。## 2.迁移方案![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915037799637553.png)- 使用华为云云连接服务打通上海一和广州的两个region的VPC- OBS1 为源端OBS,OBS2 为目标端OBS- 使用 Vpcep 为OBS2 提供内网访问节点- 使用 obsutil 实现 OBS1 数据复制到 OBS2 ## 迁移过程### 创建目标端OBS02并配置Vpcep- 上海一创建 vpc02 (网段为 1772.16.0.0/16)!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915976060264682.png)- 创建目标端桶 obs2!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916708790768897.png)- 创建Vpcep,虚拟私有云选择 vpc02,服务名称需要提工单获取!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916867749574202.png)### 云连接打通VPC- 创建云连接实例!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916400628900232.png)- 配置云连接网络实例!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917942397909834.png)- 配置带宽包!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917321881129054.png)- 从vpc02 路由表查看 VPCEP 的解析地址!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917811165363012.png)- 将获取到的地址添加到云连接的路由!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647918217645754537.png)### 安装并配置obsutil- 安装obsutil,参考链接:[https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html](https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html)- 配置obsutil```shell./obsutil config -i="ak" -k="sk" -e="obs1 Endpoint" -crr./obsutil config -i="ak" -k="sk" -e="obs2 Endpoint"```Endpoint 获取,参考链接:[https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html](https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html)卡斯柯 获取,参考链接:[https://support.huaweicloud.com/qs-obs/obs_qs_0005.html](https://support.huaweicloud.com/qs-obs/obs_qs_0005.html)### 数据复制- 执行命令进行复制```shell./obsutil cp obs://obs1 obs://obs2 -f -r -crr -u ( -j=100 –p=100 )```!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647923546807581903.png)## 方案总结- 迁移过程中,需要设置两个VPC的入方向规则(建议设置好源IP开放所有端口),确保两个VPC的通信正常- 迁移过程中,迁移速度受云连建带宽包的限制,建议按照实际需要购买带宽包,确保迁移舒服- obsutil 第一次复制默认为全量复制,后续的复制均为增量复制
  • [问题求助] OBS自动外呼
    【功能模块】OBS问题来源太平保险    【问题简要】OBS自动外呼【问题类别】OBS【AICC解决方案版本】AICC8.15.1ICD V300R008C23spc005【期望解决时间】尽快【问题现象描述】OBS自动外呼有个外呼中间结果的存储过程,请问什么时候会调用这个存储过程?
  • [问题求助] Request Error.OBS servcie Error Message obs文件上传失败
    2022-03-17 14:17:59 [http-nio-9014-exec-5] ERROR c.r.f.w.e.GlobalExceptionHandler - Error message:Request Error.OBS servcie Error Message.com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message.    at com.obs.services.internal.utils.ServiceUtils.changeFromServiceException(ServiceUtils.java:611)    at com.obs.services.AbstractClient.doActionWithResult(AbstractClient.java:396)    at com.obs.services.AbstractObjectClient.putObject(AbstractObjectClient.java:275)    at com.obs.services.AbstractObjectClient.putObject(AbstractObjectClient.java:249)    at cn.rdp.contract.hw.yun.utils.HuaweiOBSUtils.putInputStream(HuaweiOBSUtils.java:56)java文件上传报这个错,求解
  • [问题求助] uniapp使用华为OBS
    我们的需求是在uniapp中导入前端sdk 来使用其中的方法例如 obs.createSignedUrl  要怎样去导入这个js文件呢
  • [大数据] AWS S3FileSystem rename源码分析
    AWS S3FileSystem rename源码分析开门见山    Object Store不是真正的文件系统,没有提供原生的rename操作,都是通过copy+delete来实现rename过程的,AWS 的S3协议也不例外。问:为什么对象存储不提供一个rename接口         对象存储OSS因为没有文件和目录的概念,所以不支持文件和目录的rename操作,需要通过模拟文件系统的方式来实现rename操作(先拷贝对象至新位置,再删除旧的对象)。简而言之,因为对象存储key-value的这种模式原生对rename不友好,rename动作消耗性能较大。源码解读代码路径:hadoop源码中,位置如下:hadoop\hadoop-release-HDP-3.1.0.0-78-tag\hadoop-tools\hadoop-aws\src\main\java\org\apache\hadoop\fs\s3a\S3AFileSystem.java对外接口:public boolean rename(Path src, Path dst)方法上面的注释有提到:s3不支持rename动作,但是这个方法可以实现文件和目录的重命令。继续看private boolean innerRename(Path source, Path dest)方法:该方法前部分包含大量的校验动作,这里不做详细描述。关键部分如下:这里先做了对象文件copy,然后执行innerDelete删除旧的对象文件。        
  • [问题求助] 【望美】【告警附件】安防告警图片移动端访问报401
    你好,请问告警里面的图片和视频是存储在哪里的?告警图片地址:https://studio.e.huawei.com/u-route/baas/sys/v1.1/connectors/objectstorageproxy/SmartCampus__FileOperator/viewobject?object=8RGBqh-upload/smartcampus/securityincidentfile/1647309089818.png&x-image-process=image/auto-orient,1这是存储在obs的桶里面吗?目前我们在移动端访问告警图片,会报401,我该如何让这张图访问的时候不需要鉴权。怎么改obs桶的读写策略。谢谢
  • [分布式存储] Ceph对象存储调优指南
    调优原则与思路对象存储调优主要分为:冷存储配置调优所有数据盘都是机械硬盘(HDD)的场景,即DB/WAL分区、元数据存储池都使用机械硬盘均衡型配置调优以机械硬盘(HDD)作为数据盘,并配置适量固态硬盘(SSD)作为DB/WAL分区、元数据存储池的场景高性能配置调优高性能配置是指所有数据盘都是用固态硬盘(SSD)的场景请根据实际场景选择一种配置进行调优。调优原则在性能优化时,需要遵循一定的原则,主要有以下几个方面:对性能进行分析时,要多方面分析系统的资源瓶颈所在,如CPU利用率达到100%时,也可能是内存容量限制,导致CPU忙于处理内存调度。一次只对一个性能指标参数进行调整。分析工具本身运行可能会带来资源损耗,导致系统某方面的资源瓶颈情况更加严重,应避免或降低对应用程序的影响。调优思路调优分析思路如下:很多情况下压测流量并没有完全进入到后端(服务端),在网络接入层(云化的架构,比如:SLB/WAF/高防IP,甚至是CDN/全站加速等)可能就会出现由于各种规格(带宽、最大连接数、新建连接数等)限制或者因为压测的某些特征符合CC和DDoS的行为而触发了防护策略导致压测结果达不到预期。接着看关键指标是否满足要求,如果不满足,需要确定是哪个地方有问题,一般情况下,服务器端问题可能性比较大,也有可能是客户端问题(这种可能性非常小)。对于服务器端问题,需要定位的是硬件相关指标,例如CPU,Memory,Disk IO,Network IO,如果是某个硬件指标有问题,需要深入的进行分析。如果硬件指标都没有问题,需要查看中间件相关指标,例如:线程池、连接池、GC等,如果是这些指标问题,需要深入的分析。如果中间件相关指标没问题,需要查看数据库相关指标,例如:慢查SQL,命中率,锁、参数设置。如果以上指标都正常,应用程序的算法、缓冲、缓存、同步或异步可能有问题,需要具体深入的分析。可能的瓶颈点如表1所示。表1 可能的瓶颈点瓶颈点说明硬件/规格一般指的是CPU、内存、磁盘IO方面的问题,分为服务器硬件瓶颈、网络瓶颈(对局域网可以不考虑)。中间件一般指的是应用服务器、web服务器等应用软件,还包括数据库系统。例如:中间件weblogic平台上配置的JDBC连接池的参数设置不合理,造成的瓶颈。应用程序一般指的是开发人员开发出来的应用程序。例如,JVM参数不合理,容器配置不合理,慢SQL,数据库设计不合理,程序架构规划不合理,程序本身设计有问题(串行处理、请求的处理线程不够、无缓冲、无缓存、生产者和消费者不协调等),造成系统在大量用户方位时性能低下而造成的瓶颈。操作系统一般指的是Windows、UNIX、Linux等操作系统。例如,在进行性能测试,出现物理内存不足时,虚拟内存设置也不合理,虚拟内存的交换效率就会大大降低,从而导致行为的响应时间大大增加,这时认为操作系统上出现性能瓶颈。网络设备一般指的是防火墙、动态负载均衡器、交换机等设备。当前更多的云化服务架构使用的网络接入产品:包括但不限于SLB/WAF/高防IP/CDN/全站加速等等。例如,在动态负载均衡器上设置了动态分发负载的机制,当发现某个应用服务器上的硬件资源已经到达极限时,动态负载均衡器将后续的交易请求发送到其他负载较轻的应用服务器上。在测试时发现,动态负载均衡器没有起到相应的作用,这时可以认为网络瓶颈。调优的通用步骤:调优通用步骤如图1所示。图1 调优通用步骤冷存储配置调优1. 硬件调优: 硬件调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_冷存储配置调优_华为云 (huaweicloud.com)2. 系统调优: 系统调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_冷存储配置调优_华为云 (huaweicloud.com)3. Ceph调优: Ceph调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_冷存储配置调优_华为云 (huaweicloud.com)均衡型配置调优硬件调优NVMe SSD调优目的为减少数据跨片开销。方法将NVMe SSD与网卡插在统一Riser卡。内存插法调优目的内存按1dpc方式插将获得最佳性能,即将DIMM0插满,此时内存带宽最大。方法优先插入DIMM0,即插入DIMM000、010、020、030、040、050、100、110、120、130、140、150插槽。三位数字中,第一位代表所属CPU,第二位代表内存通道,第三位代表DIMM,优先将第三位为0的插槽按内存通道从小到大依次插入。系统调优网络性能调优目的本次测试网卡采用以太网标卡-25GE(Hi1822)-四端口-SFP+,以该网卡为例对网卡配置参数进行优化以达到最佳性能。方法优化方法主要包含调节网卡参数和中断绑核(即将网卡中断绑定到网卡所在物理CPU上)调整rx_buff:进入路径“/etc/modprobe.d”。cd /etc/modprobe.d新建hinic.conf。vi /etc/modprobe.d/hinic.conf并增加以下内容:options hinic rx_buff=8重新加载驱动。rmmod hinicmodprobe hinic检查是否成功修改rx_buff为8。cat /sys/bus/pci/drivers/hinic/module/parameters/rx_buff修改ring_buffer大小:将buffer大小由默认的1024调整为4096。ethtool -G <网卡名称> rx 4096 tx 4096查看当前buffer大小。ethtool -g <网卡名称>打开lro:打开网卡lro功能。ethtool -K <网卡名称> lro on检查是否成功打开。ethtool -k <网卡名称> | grep large-receive-offload说明:除了以上优化参数以外,还需要将网卡软中断绑核:关闭irqbalance服务。查询网卡归属于哪个NUMA节点。cat /sys/class/net/ <网口名> /device/numa_node查询该NUMA节点对应哪些CPU core。lscpu查询网卡中断号。cat /proc/interrupts | grep <网口名> | awk -F ':' '{print $1}'将软中断绑定到该NUMA节点对应的core上。echo <core编号> > /proc/irq/ <中断号> /smp_affinity_list。旁路SMMU目的为了发挥鲲鹏处理器性能,我们推荐旁路SMMU。方法编辑配置文件/etc/grub2-efi.cfg。vi /etc/grub2-efi.cfg在内核代码中找到vmlinuz-4.14.0-115.el7a.0.1.aarch64所在行,在该行末尾加入“iommu.passthrough=1”,保存退出,重启服务器,如下所示:if [ x$feature_platform_search_hint = xy ]; thensearch --no-floppy --fs-uuid --set=root e343026a-d245-4812-95ce-6ff999b3571celsesearch --no-floppy --fs-uuid --set=root e343026a-d245-4812-95ce-6ff999b3571cfilinux /vmlinuz-4.14.0-115.el7a.0.1.aarch64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap LANG=en_US.UTF-8 iommu.passthrough=1initrd /initramfs-4.14.0-115.el7a.0.1.aarch64.imgOS配置调优: 系统调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_均衡型配置调优_华为云 (huaweicloud.com)Ceph调优:Ceph调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_均衡型配置调优_华为云 (huaweicloud.com)KAE zlib压缩调优:KAE zlib压缩调优_鲲鹏BoostKit分布式存储使能套件_调优指南_Ceph对象存储 调优指南_均衡型配置调优_华为云 (huaweicloud.com)
  • [问题求助] obs通过compile_for_macos.txt按步骤编译之后的.a文件引入之后 xcode报错
    lipo -info libeSDKOBS.aNon-fat file: libeSDKOBS.a is architecture: x86_64这库也太小了,应该是没打成吧,官方有最新的教程没
  • [问题求助] Obs对文件设置了附加头域etage限制,为何还能直接访问
    `from obs import GetObjectHeader obsHeader=GetObjectHeader(if_match='1212') res = obsClient.createSignedUrl('GET', bucketName, 'Master.xlsb',headers=obsHeader,expires=100) print('signedUrl:\n', res.signedUrl) `为何我随意加的一个etag,浏览器还是能直接访问得到数据
  • [问题求助] AppCube标准页面-组件-上传,文件存储在obs,上传成功后用预置库XLSX转Json 报错?
    【功能模块】【操作步骤&问题现象】1、上传excel文件,上传成功后用预置库XLSX转json报错,上传组件返回的数据不满足XLSX方法的入参要求?2、之前发过贴在,按照反馈更改后,还是报错!麻烦再看下【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] iOS集成OBS调用报错
    按照文档一步一步集成OBS SDK,运行时报错:terminating with uncaught exception of type NSException代码如下: OBSStaticCredentialProvider *provider = [[OBSSTSCredentialProvider alloc] initWithAccessKey:@"xxxx" secretKey:@"xxx" stsToken:@"xxxx"]; provider.securityToken = @"xxxxx"; OBSServiceConfiguration *conf = [[OBSServiceConfiguration alloc] initWithURL:@"https://obs.cn-east-3.myhuaweicloud.com" credentialProvider:provider]; OBSClient *client = [[OBSClient alloc] initWithConfiguration:conf]; OBSPutObjectWithDataRequest *request = [[OBSPutObjectWithDataRequest alloc] initWithBucketName:@"isong" objectKey:@"test/ios.txt" uploadData:[@"hello" dataUsingEncoding:NSUTF8StringEncoding]]; request.uploadProgressBlock = ^(int64_t bytesSent, int64_t totalBytesSent, int64_t totalBytesExpectedToSend) { NSLog(@"%0.1f%%",(float)floor(totalBytesSent*10000/totalBytesExpectedToSend)/100); }; [client putObject:request completionHandler:^(OBSPutObjectResponse *response, NSError *error) { }];Swift 集成也是报同样的错误
  • [问题求助] flutter上传文件到obs
    flutter如何将文件上传到obs里,使用哪个插件啊,调用那些类啊,求解
总条数:799 到第
上滑加载中