• [技术干货] 案例:创建OBS外表后,将数据导入外表报错Failed to open file region_map
    1、问题出在region_map这个文件上,文件不能打开一般是权限问题或者文件是否存在的问题2、这个问题一般是因为扩容引起的,扩容后有的新的DN节点没有region_map这个文件。问题的解决办法就是将region_map文件拷贝到扩容后新的DN节点。
  • [互动交流] OBS回源
    可以回源其他云厂商的私有桶吗?我配置携带请求参数也无法回源成功
  • [互动交流] 用OBS 官方提供的下载服务,无法下载指定资源
    public class MainActivity extends AppCompatActivity { // private static final String endPoint = "https://yourdomainname"; private static final String endPoint = "https://obs-advertising.obs.cn-south-1.myhuaweicloud.com"; // private static final String ak = "*** Provide your Access Key ***"; private static final String ak = ""; // private static final String sk = "*** Provide your Secret Key ***"; private static final String sk = ""; private static String bucketName = "obs-advertising"; private static String objectKey = "myobsobjectkey"; private static String localFilePath = "/storage/sdcard/" + objectKey; //这个位置要注意,文件夹层级要是 / 才行,右斜杠会找不到资源报错404 private static String objectName = "fj-advertising/video/2022-04-13/aaaa.avi"; public static String localfile = Environment.getExternalStorageDirectory() + File.separator + "11.avi"; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); final TextView tv = (TextView) findViewById(R.id.tv); tv.setText("Click to start test"); tv.setOnClickListener(new View.OnClickListener() { @Override public void onClick(View v) { tv.setClickable(false); AsyncTask task = new ConcurrentDownloadTask(); task.execute(); } }); } private class ConcurrentDownloadTask extends AsyncTask { @Override protected String doInBackground(Void... voids) { ObsConfiguration config = new ObsConfiguration(); config.setSocketTimeout(30000); config.setConnectionTimeout(10000); config.setEndPoint(endPoint); // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, config); DownloadFileRequest request = new DownloadFileRequest(bucketName, objectName); // 设置下载对象的本地文件路径 request.setDownloadFile(localfile); // 设置分段下载时的最大并发数 request.setTaskNum(1); // 设置分段大小为10MB request.setPartSize(10 * 1024 * 1024); // 开启断点续传模式 request.setEnableCheckpoint(true); request.setProgressListener(new ProgressListener() { @Override public void progressChanged(ProgressStatus status) { System.out.println(status.getTransferPercentage()); } }); try { long startTime = System.currentTimeMillis(); // 进行断点续传下载 DownloadFileResult result = obsClient.downloadFile(request); long endtime = System.currentTimeMillis(); System.out.println(String.valueOf((endtime - startTime) / 1000.0D) + "s"); System.out.println(String.valueOf((result.getObjectMetadata().getContentLength() * 1000.0 / (endtime - startTime)) / (1024 * 1024)) + "MB/s"); } catch (ObsException e) { // 发生异常时可再次调用断点续传下载接口进行重新下载 System.out.println("Response Code: " + e.getResponseCode()); System.out.println("Error Message: " + e.getErrorMessage()); System.out.println("Error Code: " + e.getErrorCode()); System.out.println("Request ID: " + e.getErrorRequestId()); System.out.println("Host ID: " + e.getErrorHostId()); } finally { if (obsClient != null) { try { /* * Close obs client */ obsClient.close(); } catch (IOException e) { } } } return null; } } } DownloadFileRequest [bucketName=obs-advertising, objectKey=fj-advertising/video/2022-04-13/aaaa.avi, downloadFile=/storage/emulated/0/11.avi, partSize=10485760, taskNum=1, checkpointFile=/storage/emulated/0/11.avi.downloadFile_record, enableCheckpoint=true, ifModifiedSince=null, ifUnmodifiedSince=null, ifMatchTag=null, ifNoneMatchTag=null, versionId=null, isEncodeHeaders=true] 报错:com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message. -- ResponseCode: 404, ResponseStatus: Not Found
  • [Sql迁移] 【DWS】【外表导入】创建OBS外表后,将数据导入外表报错Failed to open file region_map
    【功能模块】在DWS创建OBS外表后,将数据导入外表报错Failed to open file region_map【操作步骤&问题现象】1、再dws上创建存储为OBS的外表2、将DWS数据insert到外表【截图信息】建表语句:【日志信息】(可选,上传日志内容或者附件)
  • [其他] 数据集导入操作简介
    前提条件已存在创建完成的数据集。至少已创建了一个OBS桶,用于数据存储,确保OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。数据集中的数据导入入口数据集中的数据导入有5个入口。创建数据集时直接从设置的数据导入路径中自动同步数据。图1 创建数据集时导入数据创建完数据集后,在数据集列表页面的操作栏单击“导入”,导入数据。图2 在数据集列表页导入数据在数据集列表页面,单击某个数据集的名称,进入数据集详情页中,单击“导入”,导入数据。图3 在数据集详情页中导入数据在数据集列表页面,单击某个数据集的名称,进入数据集详情页中,单击“同步数据源”,同步OBS中的数据。图4 在数据集详情页中同步数据源在数据标注的标注作业详情中添加数据。图5 标注作业详情中添加数据文件型数据来源文件型数据集的导入支持两种数据来源:“OBS”和“本地上传”。导入后,导入目录下的数据会拷贝至数据集的数据源路径下。OBS:需要将导入的数据或Manifest文件提前存储至OBS目录中。本地上传:将本地数据直接通过Internet上传至OBS指定目录后,再导入数据集。文件型数据导入方式导入方式分为“目录”和“manifest”两种。目录:导入路径选择OBS目录,读取OBS目录下的数据并导入数据集。Manifest:按Manifest文件读取OBS上的数据并导入,需要满足Manifest的文件规范,同时每个Manifest文件仅包含一种标注类型。Manifest文件定义了标注对象和标注内容的对应关系。文件规范请参见导入Manifest文件的规范说明。当前“自由格式”的数据集不支持Manifest导入。文件型数据标注状态数据标注状态分为“未标注”和“已标注”。未标注:仅导入标注对象(指待标注的图片,文本等),不导入标注内容(指标注结果信息)。已标注:同时导入标注对象和标注内容,当前“自由格式”的数据集不支持导入标注内容。为了确保能够正确读取标注内容,要求用户严格按照规范存放数据:导入方式选择目录时,需要用户选择“标注格式”,并按照标注格式的要求存放数据,详细规范请参见标注格式章节。导入方式选择manifest时,需要满足manifest文件的规范。
  • [分享交流] 微信小程序操作华为云OBS
    请问微信小程序怎么对华为云OBS进行操作哇?
  • [互动交流] obs-c-sdk
    求一个 windows10下 编译 obs-c-sdk 的说明教程
  • [其他] 快照不可用
    1      问题现象自动快照不可用,手动快照当前策略不支持2      分析过程1.查看后台日志,根据快照ID 快照名称,在oss.dws.log 日志中  grep 快照id oss.dws.log 筛查;grep 快照名称  oss.dws.log  排查  或  grep 快照id/快照名称 oss.dws.log | grep ERROR 来筛选有用信息。2.根据grep  backup oss.dws.log 来查询发现节点到obs的域名网络有问题,拉obs的人进行网络处理验证,obs问题经过排查排除,网络没问题3.通过jobid 在oss.dws.log日志中筛选到ERROR 报错,筛选服务日志中的报错信息4.在console上点击手动创建,F12下找到traceid5.通过traceid 筛选服务日志,错误信息 grep xxxxxx oss.dws.log6.通过jobid 找到快照所在实例,登录此实列,在$GAUSSLOG下看rouch 和agent 日志在agent日志发现Error:121 InsufficientStorageSpace  定位到 OBS 资源不足。配额不够从堡垒机进去看到OBS内存 找obs的同事查看桶配额,发现桶满了。3      解决方法当前版本8.1.0.100  存在下发删除命令BUG  未响应。采取手动清理过期快照信息后。业务恢复,OBS内存清理后,需要25分钟时间将空间释放出来手动清理obs桶过期快照步骤:https://bbs.huaweicloud.com/forum/thread-121998-1-1.html    
  • [技术干货] 智慧园区如何配置模板原生服务
    背景说明当某一个租户下安装的原生服务需要提供给其他租户服务时,安装了的原生服务的租户为服务端,需要使用原生服务的租户为客户端。在客户端还需要配置原生服务的相关参数和AppCube平台的URL地址。操作步骤以其他需要使用原生服务的租户用户登录AppCube平台。选择“管理 > 应用管理 > BO配置”。单击“Template”,进入模板BO配置页面。单击“模板功能配置”,若是参数不存在,则新增以下相关参数;若参数已存在,则修改其参数值。表1 新增模板参数参数名说明BUCKET桶名称。取值请在“应用管理 > 连接器 > 对象存储代理”中获取对应对象存储代理使用的桶名称。建议获取SmartCampus__FileOperator对象存储代理使用的桶名称。CONNECTOR_NAME连接器名称。取值请在“应用管理 > 连接器 > 对象存储代理”中获取对象存储代理的名称。建议值:SmartCampus__FileOperator。单击“系统参数配置”,配置TemplateBO_URL系统参数。TemplateBO_URL设置为提供原生服务的AppCube平台的URL,例如https://abc_dev.test.com。
  • [问题求助] 【ABC产品】如何脚本中将base64编码,转化为文件流存入OBS桶
    【功能模块】项目:盐城1.先建一张人员表,头像存入base64编码,2.在人员授权成功之后需要将该人员同步到人员BO,3.请问:我如何将图片base64编码转化为文件流,再存入平台ABC的OBS桶中?【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [互动交流] 微信小程序怎么从obs下载文件?
    微信小程序构建npm失败哇,请问该怎么下载obs的文件?
  • [知识分享] OBS数据跨region内网复制
    >摘要:使用华为云云服务云连接CC、VPC终端节点VPCEP2.0以及obsutil工具,实现跨Region内网复制OBS数据 # 目录 >方案背景 >迁移方案 >迁移过程 >>创建目标端OBS并配置Vpcep >>云连接打通VPC >>安装并配置obsutil >>数据复制 >实践总结 ## 1.方案背景 业务系统跨region迁移,需要将OBS桶上的业务数据迁移到新region 。由于OBS数据涉及到用户敏感信息,希望通过内网方式实现OBS的数据迁移。此迁移方式适用于迁移数据量小,且可短时间停止业务的系统。 ## 2.迁移方案 ![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915037799637553.png) - 使用华为云云连接服务打通上海一和广州的两个region的VPC - OBS1 为源端OBS,OBS2 为目标端OBS - 使用 Vpcep 为OBS2 提供内网访问节点 - 使用 obsutil 实现 OBS1 数据复制到 OBS2 ## 迁移过程 ### 创建目标端OBS02并配置Vpcep - 上海一创建 vpc02 (网段为 1772.16.0.0/16) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647915976060264682.png) - 创建目标端桶 obs2 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916708790768897.png) - 创建Vpcep,虚拟私有云选择 vpc02,服务名称需要提工单获取 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916867749574202.png) ### 云连接打通VPC - 创建云连接实例 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647916400628900232.png) - 配置云连接网络实例 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917942397909834.png) - 配置带宽包 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917321881129054.png) - 从vpc02 路由表查看 VPCEP 的解析地址 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647917811165363012.png) - 将获取到的地址添加到云连接的路由 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647918217645754537.png) ### 安装并配置obsutil - 安装obsutil,参考链接:[https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html](https://support.huaweicloud.com/utiltg-obs/obs_11_0003.html) - 配置obsutil ```shell ./obsutil config -i="ak" -k="sk" -e="obs1 Endpoint" -crr ./obsutil config -i="ak" -k="sk" -e="obs2 Endpoint" ``` Endpoint 获取,参考链接:[https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html](https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html) 卡斯柯 获取,参考链接:[https://support.huaweicloud.com/qs-obs/obs_qs_0005.html](https://support.huaweicloud.com/qs-obs/obs_qs_0005.html) ### 数据复制 - 执行命令进行复制 ```shell ./obsutil cp obs://obs1 obs://obs2 -f -r -crr -u ( -j=100 –p=100 ) ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/22/1647923546807581903.png) ## 方案总结 - 迁移过程中,需要设置两个VPC的入方向规则(建议设置好源IP开放所有端口),确保两个VPC的通信正常 - 迁移过程中,迁移速度受云连建带宽包的限制,建议按照实际需要购买带宽包,确保迁移舒服 - obsutil 第一次复制默认为全量复制,后续的复制均为增量复制
  • [互动交流] 求解析上传obs地址的dns ip
    我现在有一个上传obs日志的需求,在需要用从obs服务器获取的地址来上传,但是本地无法解析获取到的地址,因此想指定dns ip来上传。有谁知道obs的dns ip一般是什么吗
  • [已解决问题归档] OBS自动外呼
    【功能模块】OBS问题来源太平保险    【问题简要】OBS自动外呼【问题类别】OBS【AICC解决方案版本】AICC8.15.1ICD V300R008C23spc005【期望解决时间】尽快【问题现象描述】OBS自动外呼有个外呼中间结果的存储过程,请问什么时候会调用这个存储过程?
  • [互动交流] Request Error.OBS servcie Error Message obs文件上传失败
    2022-03-17 14:17:59 [http-nio-9014-exec-5] ERROR c.r.f.w.e.GlobalExceptionHandler - Error message:Request Error.OBS servcie Error Message.com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message.    at com.obs.services.internal.utils.ServiceUtils.changeFromServiceException(ServiceUtils.java:611)    at com.obs.services.AbstractClient.doActionWithResult(AbstractClient.java:396)    at com.obs.services.AbstractObjectClient.putObject(AbstractObjectClient.java:275)    at com.obs.services.AbstractObjectClient.putObject(AbstractObjectClient.java:249)    at cn.rdp.contract.hw.yun.utils.HuaweiOBSUtils.putInputStream(HuaweiOBSUtils.java:56)java文件上传报这个错,求解
总条数:1487 到第
上滑加载中