• [已解决问题归档] 【入驻式求助】obs外呼失败码21011代表什么意思
    【问题简要】obs外呼的i_sFailCode这个字段的返回码,有些码在文档没有具体说明【问题类别】vxml2.0 【IPCC解决方案版本】IPCC V200R001C80【问题现象描述】请问返回码21011 代表什么意思
  • [产品体验官] 华为云GES图引擎服务体验及评测报告-沐晓
    体验版本:GES2.1.9各位大佬,首先很荣幸参加了这次华为云GES图引擎服务体验活动,由于之前并没有接触过图引擎相关的内容,所以对于这方面属于小白,但是通过本次的体验活动增加了自己对图引擎方面的了解,也希望自己的一些体验感受能够带给大家一些帮助。通过这次体验,我觉得无论是小白用户还是普通开发者亦或是专家型用户,华为云GES图引擎都可以满足你的需求并且带给你很好的体验。下面介绍一下我本次体验过程的一些情况;1.首页有以下特点:  (1)交互感不错,对于不同功能的切换也很自然,动态效果很好;  (2)内容丰富,功能区功能强大且有很明确的分类;  (3)介绍详细,有视频讲解结合帮助文档,比较容易上手。2. 体验流程(小白一枚,看着帮助文档也可以完成哦):(1)购买OBS资源 首先进入 https://www.huaweicloud.com/product/obs.html,创建OBS桶创建属于自己的OBS桶,确认好自己选择的区域,桶名称按照格式要求可以自己创建。创建完成后,上传自己需要测试的对象。(2)购买GES图引擎服务,创建图(本次体验选择开发学习,数据模板可自行下载)(3)完成OBS和图引擎创建后,就可以对自己的测试对象进行分析了左边有一个丰富的算法库,可以根据自己的需求进行使用,然后右边就可以展示出自己的图分析结果(由于对图引擎比较小白,无法更深入的为各位提供帮助了)。3. 体验过程中的一些问题及建议:(1)运行时间有些长,不知道是由于网速问题还是图处理过程比较复杂所以耗时挺久(并没有和其他平台相比较,有兴趣的用户可以尝试对比一下);(2)购买OBS 后不知道接下来怎么处理,如果没有帮助文档的话是找不到下一步怎么做的,而且接下来购买图引擎GES也是利用帮助文档的网址找到的,对新人来说会比较耗耐心;(3)每一个模块独立性很好,但是缺乏关联性,比如在图引擎界面是否可以链接到OBS页面;(4)图引擎运行结束后结果看不懂,利用算法得出来图关系,可是如果不理解具体是怎样的,感觉就没有作用了;建议:(1)是否可以优化一下处理过程,适当提高运算速率;(2)建议可以在首页或者其他页面设置一个流程操作图(简单的),方便用户进行操作;(3)各个模块加强关联性,像在图引擎界面可以设置链接到OBS或者其他页面的功能键;(4)对算法运行结果简单说明,方便用户了解由于我对于这方面知识欠缺,只是针对自己本次体验的过程提出一些问题或者是建议,希望能对此次活动有所帮助!                                                                                                                                                                                                                                                                                                                                                                                                                                                                          王稳占                                                                                                                                                               微信群昵称:王稳占-南京-主题设计师                                                                                                                                                                       华为云账号:wwz15850563128                                                                                                                                                                                                  2019年8月27日 
  • [云上求助] OBS 自动外呼 偶发固话无法拨打。
    客户点版本:CloudIPCC V200R001C60SPC300故障描述:使用OBS 外呼,发现表中有7条数据未呼叫,   目前在台州银行外呼系统自动导自动呼的系统中,出现了一些呼叫异常的数据。在一些外呼任务中存在前7条记录呼叫异常的现象,即任务设置呼叫2次,显示呼叫了4、5、6、7、8次的现象。经查明有些数据呼叫了1次,有些数据一次都没有呼叫。在一次都没有呼叫的数据中,他们的状态都是取出态(stat=2,这条数据是取出来的,却没有呼叫)。另外这些数据都是固话的数据,不过其他固话的数据也能正常呼叫,出问题的数据里面也有呼叫正常的固话数据,不过所有有问题的数据都是前7条数据异常。故障时间:8月23日,上午10点左右。被叫号码:057584128752  
  • [产品介绍] 搬迁本地数据至OBS的几种方式
    《对象存储服务最佳实践》文档地址:https://support.huaweicloud.com/bestpractice-obs/obs_05_0110.html
  • [互动交流] OBS分段上传失败
            在调用obs(OBS C SDK)分段并发上传时,当分段数比较多时(130多个),初始化分段上传任务成功了,并发上传也成功了,但是在合并段的时候失败了,看logo好像是XML为空,这时桶里面没有生成对象名,但是分段上传的数据已经在桶里了,怎么清除这些数据?还有分段并发上传时对分段数有什么要求吗?
  • 微信小程序直传华为云OBS服务指南
    背景    微信小程序作为当下流行的移动应用,具有广泛的应用场景。在这种情况下,如何基于对象存储服务实现部分客户在小程序的设计开发过程中进行数据存储的需求成为一个热点问题。本文即通过一个示例程序来演示如何在微信小程序中实现上传功能与OBS对象存储服务的对接。步骤一:设置桶Bucket的跨域访问权限    微信小程序基于JS进行开发,受同源安全策略的要求,不同域间的网站脚本和内容如需交互,即需要配置跨域资源共享(CORS)规范。华为云OBS对象存储服务支持CORS规范,允许跨域访问OBS中的资源。    配置过程如下图所示:    1. 登录华为云控制台,找到文件上传指定的桶。        2.点击创建CORS规则,按照需求指定允许的来源、头域及请求方式。同时可以通过补充头域指定允许响应中返回指定的附加头域字段。步骤二:配置小程序上传域名白名单    微信小程序利用白名单机制管理跨域访问,为成功实现数据上传,需要在微信小程序平台域名白名单中对应配置桶的访问域名        1. 获取桶的访问域名    2.在对应小程序服务器域名配置中指定桶域名为合法域名。步骤三:使用小程序直传数据至对象存储桶中    示例代码如下(完整代码见附件)    指定policy的内容,计算对应policy编码及signature值。       1.通过chooseImage API选择图片,实现图片上传功能。        2. 通过chooseMessageFile实现对微信客户端会话选择文件上传    
  • [技术干货] 求解答: java.lang.NoClassDefFoundError: Could not initialize class com.obs.services.internal.Constants
    为什么上传文件再Linux服务器总是报这个异常,在开发环境Windows环境又不会。求解答。java.lang.NoClassDefFoundError: Could not initialize class com.obs.services.internal.Constants
  • [互动交流] OBS 对象存储服务才用5天,下行流量包就不够用了,
    可以更换流量包,或者升级流量包吗?
  • [技术干货] 请问 Golang 语言的 OBS SDK 是否支持 go module?
    请问 Golang 语言的 OBS SDK 是否支持 go module?是否支持 go mod 方式引入到客户项目中?
  • [技术干货] 华为云对象存储服务并行文件系统特性于2019年7月26日00:00(北京时间)转商通知
    尊敬的华为云客户:华为云计划于2019/07/26 00:00(北京时间)将对象存储服务并行文件系统特性(原文件语义特性)正式转商用。正式商用后,服务将于2019/07/26 00:00(北京时间)开始收费,并行文件系统特性按照数据所存储桶的预置容量进行收费,费率为标准存储 0.3元/GB/月,多AZ标准存储 0.42元/GB/月。华为云在此提醒您,如果您需要继续使用该特性,请登录OBS控制台进行并行文件系统桶的容量设置, 不设置将不能使用, 设置后正常使用将会产生费用。更多关于对象存储并行文件系统特性的介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(950808)与我们联系。感谢您对华为云的支持!
  • [已解决问题归档] 【入驻式求助】关于obs外呼错误码551的原因
    【问题简要】obs外呼,状态吗551 看文档是排队机异常拆线 是什么原因导致的?【问题类别】vxml2.0 【IPCC解决方案版本】IPCC V200R001C80【问题现象描述】obs外呼,状态吗551 看文档是排队机异常拆线 请问是什么原因导致的?
  • [技术干货] OBS JAVA SDK 实践8:批量下载文件(e.g 下载文件夹)
    1      背景介绍 & 效果展示通过OBS JAVA SDK可以实现批量下载文件,如下载文件夹,效果如下。注:有关标准存储、低频访问、归档存储三种存储类型的更多信息,参考链接:https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0050321036.html图1 桶下面有“FunctionGraphDemo-VideoConvert/”为前缀的文件夹图2 把上图中的文件夹下载到本地"C:/software/"目录下2      java代码参考前提:需要先下载OBS最新的JAVA SDK,参考官网链接:https://developer.huaweicloud.com/sdk?OBS,并在自己的项目中导入SDK中的JAR包。                  public static void main(String[] args) throws IOException {                   // 需要将endPoint/ak/sk更新为实际信息                   String endPoint = "https://your-endpoint";                   String ak = "*** Provide your Access Key ***";                   String sk = "*** Provide your Secret Key ***";                                      // 创建ObsClient实例                   ObsClient obsClient = new ObsClient(ak, sk, endPoint);                   try                  {                                      String bucketName = "bucketXXX";                // 需要将bucketName更新为实际信息String fileLocatePrefix = "C:/software/";    // 需要下载到本地哪个目录,这里面举例"C:/software/"                                       ListObjectsRequest request = new ListObjectsRequest(bucketName);                                       // 指定下载"FunctionGraphDemo-VideoConvert/"文件夹                                       request.setPrefix("FunctionGraphDemo-VideoConvert/");                                       request.setMaxKeys(500);                                        ObjectListing result;System.out.println("Objects:");                                       do{                                                  result = obsClient.listObjects(request);                                                 for (ObsObject obsObject : result.getObjects())                                                  {                                                 System.out.println("\t" + obsObject.getObjectKey());                                                 DownloadFileRequest requestDownload = new DownloadFileRequest(bucketName, obsObject.getObjectKey());                                                 requestDownload.setDownloadFile(fileLocatePrefix+obsObject.getObjectKey());                                                 // 设置分段下载时的最大并发数                                                 requestDownload.setTaskNum(5);                                                 // 设置分段大小为10MB                                                 requestDownload.setPartSize(10 * 1024 * 1024);                                                 // 开启断点续传模式                                                 requestDownload.setEnableCheckpoint(true);                                                  try{                                                           // 进行断点续传下载                                                           DownloadFileResult resultDownload = obsClient.downloadFile(requestDownload);                                                  }catch (Ob**ception e) {System.out.println("Response Code: " + e.getResponseCode());                                                           System.out.println("Error Message: " + e.getErrorMessage());                                                           System.out.println("Error Code:       " + e.getErrorCode());                                                           System.out.println("Request ID:      " + e.getErrorRequestId());                                                           System.out.println("Host ID:           " + e.getErrorHostId());                                                  }                                                   }                                                  System.out.println("------------------------------");                                                  request.setMarker(result.getNextMarker());                                       }while(result.isTruncated());                 }}3      附录链接OBS JAVA SDK使用方法,官网参考链接:https://support.huaweicloud.com/sdk-java-devg-obs/zh-cn_topic_0142815558.html
  • [教程] 利用函数服务对新上传的OBS对象进行视频转码
    1      简介利用华为云的媒体转码(MPC)服务可以对OBS桶中的视频对象转码为适应各种终端(PC、TC、Phone等)播放的格式,同时华为云的函数工作流(FunctionGraph)服务,通过设定新对象上传事件触发视频转码函数。2      效果展示新建一个北京区域的OBS桶obs-chongchong-mpc,并新建两个文件夹,video-input1/ 存放新上传的源视频,video-output1/ 存放转码后的目标视频(目标格式为m3u8)。然后向video-input1/ 中上传两个mp4结尾的源视频文件。约1分钟后,会在video-output1/ 中生成这两个源视频文件转码后的目标视频文件夹(子目录为源视频对象的文件路径命名)。3      详细操作步骤3.1      创建北京一区域的OBS桶目前媒体转码MPC服务中视频转码功能只支持北京一,所以目前暂时只能使用北京一区域的OBS桶。登录华为云OBS控制台界面,这里举例新建obs-chongchong-mpc为名称的北京一区域OBS桶,并在上面新建两个文件夹,video-input1/ 存放新上传的源视频,video-output1/ 存放转码后的目标视频。注:如果需要转换多种格式的源视频,需要添加多个后缀不同的事件通知。 3.2      配置媒体转码MPC服务登录华为云MPC控制台界面,选择北京一区域,在“云资源授权---桶授权”页签下找到3.1中新建的obs-chongchong-mpc 桶,并点击授权,使之变成已授权的状态。3.3      配置消息通知SMN服务登录华为云SMN控制台界面,选择北京一区域,在“主题管理---主题”页签点击“创建主题”按钮生成名称为TestTopicMsg 的主题。     创建好以后,点击TestTopicMsg主题,进入到该“主题详情”页面。      点击“设置主题策略”按钮,选中“可发布消息的服务”列表中的OBS服务和MPC服务,并点击确定,这样这两个服务才可以触发此消息通知主题。之后回到3.1中创建的OBS桶中,创建消息通知事件,进入到桶详情界面,在“事件通知”页签下点击“创建”按钮,在弹出的“创建事件通知”对话框中填写消息信息:事件通知名称输入:(自定义)事件选择:“ObjectCreated”前缀输入:“video-input1/”(步骤3.1中video-input1定义的源视频上传目录)后缀输入:“.mp4”(设定自己需要进行转码的视频格式后缀)通知类型中SMN主题,选择刚创建的北京一TestTopicMsg的SMN主题。     同理再创建后缀为.avi的事件通知,如下图所示:注:如果需要转换多种格式的源视频,需要添加多个后缀不同的事件通知。3.4      创建统一身份认证IAM服务委托登录华为云IAM控制台界面,在“委托”页签点击“创建委托”按钮,弹出“创建委托”界面。填写委托信息:委托名称输入:“fgs_trust” (自定义)委托类型选择:“云服务”云服务选择:“FunctionGraph”持续时间选择:“永久”权限选择:分别修改“全局服务>全局”、“全局服务>对象存储服务”、“华北-北京一>cn-north-1”的权限集,选择“基本”。信息填写完毕后,点击“确定”按钮即创建成功。3.5      创建函数工作流FunctionGraph服务函数登录华为云FunctionGraph控制台界面,选择北京一区域,在“函数---函数列表”页签点击“创建函数”按钮,弹出“创建委托”界面。填写函数信息:函数名称输入:“JavaTest”所属应用选择:“default”委托名称选择:“fg-trust”(选择3.4章节创建的IAM委托名称)运行时语言选择:“Java8”函数执行入口输入:com.huawei.demo.Transcoding.smnTest代码上传方式,选择文件本地MPCTest.zip进行上传(MPCTest.zip为编译后的JAVA包,需要先下载到本地再上传,下载地址:https://obs-tools.obs.cn-north-1.myhuaweicloud.com/zdh/MPCTest.zip)。信息填写完毕后,点击“创建函数”按钮即创建成功。     创建好以后,在“函数列表”页面,点击JavaTest函数,进入到该详情页面。      选择“配置”页面,配置相关参数,内存选择256M,执行超时时间填写10,环境变量需要填写2个键:pathDst键的值为3.1中配置的存放转码后目标视频目录video-output1/,templateID键的值为MPC媒体转码平台的模板ID,此处填写模板ID为7000570的MPC预置视频转码模板,更多的模板设置请参考4.1章节。     选择“触发器”页面,订阅SMN消息主题,触发器类型选择“消息队列服务(SMN)”,主题名称选择3.3创建的TestTopicMsg 消息主题,点击“确定按钮”,最终再点击下右上角的“保存”按钮,将所有的函数配置进行保存。     之后向3.1中的OBS桶video-input1目录中上传mp4和avi为结尾的视频对象时,都会相应转换到目标目录video-output1中,效果查看2章节的展示。4      注意事项4.1      MPC媒体转码平台的模板ID的选择3.5章节中的templateID键的值为MPC媒体转码平台的模板ID,模板ID来自两种,一种是系统预置模板(由于系统预置模板是根据分辨率、码率等做的最佳配置,所以建议优先使用系统预置模板),另一各是自定义模板和模板组(如何创建,参考链接:https://support.huaweicloud.com/usermanual-mpc/mpc010008.html)。本文3章节中采用的是系统预置模板,模板ID为7000570。5      附录相关控制台链接:OBS控制台:https://storage.huaweicloud.com/obsMPC控制台:https://console.huaweicloud.com/mpcSMN控制台:https://console.huaweicloud.com/smnIAM控制台:https://console.huaweicloud.com/iamFunctionGraph控制台:https://console.huaweicloud.com/ functiongraph  
  • [技术干货] OBS JAVA SDK Demo:设置桶策略
    1      背景介绍OBS桶策略可以给特定用户设置特定的权限。下面代码展示通过JAVA SDK给用户桶设置高级桶策略。2      代码展示需要先下载OBS最新的JAVA SDK,参考官网链接:https://developer.huaweicloud.com/sdk?OBS,并在自己的项目中导入SDK中的JAR包。前提条件:已创建OBS桶,例如my-bucket123设置的桶策略为:给用户userB给予桶的所有权限和桶内所有对象的读权限桶策略格式如下,其中domain和user请根据实际账号ID和用户ID进行配置:{  "Statement": [    {      "Sid": "Stmt1375240018062",      "Action": [        "*"      ],      "Effect": "Allow",      "Resource": "my-bucket123",      "Principal": {        "ID": [          "domain/c41**************************8cf:user/053**************************2c4 "        ]      }    },    {      "Sid": "Stmt1375240018063",      "Action": [        "Get*"      ],      "Effect": "Allow",      "Resource": "my-bucket123/*",      "Principal": {        "ID": [          "domain/c41**************************8cf:user/053**************************2c4 "        ]      }    }  ]}Demo代码如下:package samples_java;import com.obs.services.ObsClient;import com.obs.services.ObsConfiguration;import com.obs.services.exception.Ob**ception;import java.io.IOException;public class BucketTestSample {     private static final String endPoint = "XXX";     private static final String ak = "XXX";     private static final String sk = "XXX";     private static ObsClient obsClient;     private static String bucketName = "my-bucket123";         public static void main(String[] args)             throws IOException {         ObsConfiguration config = new ObsConfiguration();         config.setSocketTimeout(30000);         config.setConnectionTimeout(10000);         config.setEndPoint(endPoint);         try {             obsClient = new ObsClient(ak, sk, config);             String  Policy = "{\"Statement\":[{\"Sid\":\"Stmt1375240018062\",\"Action\":[\"*\"],\"Effect\":\"Allow\",\"Resource\":\"my-bucket123\",\"Principal\":{\"ID\":[\"domain/c41**************************8cf:user/053**************************2c4\"]}},{\"Sid\":\"Stmt1375240018063\",\"Action\":[\"Get*\"],\"Effect\":\"Allow\",\"Resource\":\"my-bucket123/*\",\"Principal\":{\"ID\":[\"domain/c41**************************8cf:user/053**************************2c4\"]}}]}";             obsClient.setBucketPolicy(bucketName,Policy);         } catch (Ob**ception e) {             System.out.println("Response Code: " + e.getResponseCode());             System.out.println("Error Message: " + e.getErrorMessage());             System.out.println("Error Code:       " + e.getErrorCode());             System.out.println("Request ID:      " + e.getErrorRequestId());             System.out.println("Host ID:           " + e.getErrorHostId());         } finally {             if (obsClient != null) {                 try {                     obsClient.close();                 } catch (IOException e) {                     System.out.println(e);                 }             }         }     } }3      效果展示设置后的桶策略如下:userB在桶内上传文件失败(没有权限),下载文件成功4      附录OBS JAVA SDK使用,官网参考链接:https://support.huaweicloud.com/sdkreference-obs/obs_02_0001.html更多桶策略的具体格式(JSON格式字符串)请参考《对象存储服务API参考》:https://support.huaweicloud.com/api-obs/zh-cn_topic_0100846742.html
  • [教程] 开源大数据平台Hadoop和Spark对接OBS操作指南
    1      背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前,华为云OBS可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势,且无扩容问题,使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上**速对接OBSFileSystem组件,更好的使用华为云对象存储OBS进行大数据计算。2      部署视图2.1      安装版本硬件:1master+3core(配置:8U32G,操作系统:Centos7.5)软件:Hadoop 2.8.3、Spark 2.3.02.2      部署视图开源大数据平台已安装完成,本文主要介绍在Hadoop和Spark平台中通过OBSFileSystem组件与OBS进行对接的操作步骤。对接OBS后,用户的数据即可存储在OBS平台,通过Hadoop和Spark进行大数据计算,实现计算存储分离。 3      开源大数据平台对接OBS操作步骤3.1      Hadoop平台更新OBSFileSystem3.1.1        上传obs的jar包1、  从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩,其中Package目录中包含obs所需要的jar包,列表如下:2、  将obs所需要的jar包放在/mnt/obsjar目录中3.1.2        增加hadoop-huaweicloud的jar包1、  将hadoop-huaweicloud的jar包拷贝到如下各个目录中(/home/modules/hadoop-2.8.3/share/hadoop/common/lib;/home/modules/hadoop-2.8.3/share/hadoop/tools/lib)命令:cp /mnt/obsjar/hadoop-huaweicloud-2.8.3.13.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/.cp /mnt/obsjar/hadoop-huaweicloud-2.8.3.13.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/.3.1.3        增加esdk-obs-java的jar包1、  将esdk-obs-java的jar包拷贝到如下各个目录中(/home/modules/hadoop-2.8.3/share/hadoop/common/lib;/home/modules/hadoop-2.8.3/share/hadoop/tools/lib)命令:cp /mnt/obsjar/esdk-obs-java-3.0.1.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/.cp /mnt/obsjar/esdk-obs-java-3.0.1.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/.3.1.4        更换java-xmlbuilder的jar包1、  备份并删除hadoop-2.8.3所有目录中原有的java-xmlbuilder-0.4.jar(通过find查找后删除)。命令:rm -rf /home/modules/hadoop-2.8.3/share/hadoop/common/lib/java-xmlbuilder-0.4.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/java-xmlbuilder-0.4.jar2、  将java-xmlbuider-1.1.jar包拷贝到如下各个目录中进行替换命令:cp /mnt/obsjar/java-xmlbuider-1.1.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/.cp /mnt/obsjar/java-xmlbuider-1.1.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/.3.1.5        更换okhttp的jar包1、  备份并删除hadoop-2.8.3所有目录中原有的okhttp-2.4.0.jar(通过find查找后删除)。命令:rm -rf /home/modules/hadoop-2.8.3/share/hadoop/common/lib/okhttp-2.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/okhttp-2.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/okhttp-2.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/okhttp-2.4.0.jar2、  将java-xmlbuider-1.1.jar包拷贝到如下各个目录中进行替换命令:cp /mnt/obsjar/okhttp-3.10.0.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/.cp /mnt/obsjar/okhttp-3.10.0.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/.cp /mnt/obsjar/ okhttp-3.10.0.jar /home/modules/hadoop-2.8.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/.cp /mnt/obsjar/okhttp-3.10.0.jar /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/.3.1.6        更换okio的jar包1、  备份并删除hadoop-2.8.3所有目录中原有的okio-1.4.0.jar(通过find查找后删除)。命令:rm -rf /home/modules/hadoop-2.8.3/share/hadoop/common/lib/okio-1.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/okio-1.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/okio-1.4.0.jarrm -rf /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/okio-1.4.0.jar2、  将java-xmlbuider-1.1.jar包拷贝到如下各个目录中进行替换命令:cp /mnt/obsjar/okio-1.14.0.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/.cp /mnt/obsjar/okio-1.14.0.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib/.cp /mnt/obsjar/ okio-1.14.0.jar /home/modules/hadoop-2.8.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/.cp /mnt/obsjar/okio-1.14.0.jar /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/.3.2      Hadoop平台更新配置文件操作步骤在/home/modules/hadoop-2.8.3/etc/hadoop目录中配置core-site.xml。注:fs.defaultFS 、fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint请根据实际情况进行修改。<property>   <name>fs.defaultFS</name>   <value>hdfs://ecs-bigdata-hdtest-0000.novalocal:8020</value> </property><property>   <name>hadoop.tmp.dir</name>   <value>/home/modules/hadoop-2.8.3/tmp</value> </property> <property>   <name>fs.obs.access.key</name>   <value>myaccesskey</value> </property> <property>   <name>fs.obs.secret.key</name>   <value>mysecretkey</value> </property> <property>   <name>fs.obs.endpoint</name>   <value>myendpoint</value> </property> <property>   <name>fs.obs.buffer.dir</name>   <value>/home/modules/data/buf</value> </property> <property>   <name>fs.obs.impl</name>   <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property>   <name>fs.obs.connection.ssl.enabled</name>   <value>false</value> </property> <property>   <name>fs.obs.fast.upload</name>   <value>true</value> </property>配置成功后即可执行hadoop命令3.3      Spark平台更新OBSFileSystem3.3.1        增加obs的jar包1、  备份并删除spark-2.3.0所有目录中原有的版本较低的java-xmlbuilder-X.X.jar、okhttp-X.X.X.jar和okio-X.X.X.jar(通过find查找后删除)。命令:rm -rf /home/modules/spark-2.3.0/jars/java-xmlbuilder*rm -rf /home/modules/spark-2.3.0/jars/okhttp*rm -rf /home/modules/spark-2.3.0/jars/okio*2、  将obs的jar包(hadoop-huaweicloud-2.8.3.13.jar、esdk-obs-java-3.0.1.jar、java-xmlbuilder-1.1.jar、okhttp-3.10.0.jar和okio-1.14.0.jar)拷贝到如下各个目录(/home/modules/spark-2.3.0/jars/)后即可启动spark使用OBS进行大数据计算。命令:cp /mnt/obsjar/hadoop-huaweicloud-2.8.3.13.jar /home/modules/spark-2.3.0/jars/.cp /mnt/obsjar/esdk-obs-java-3.0.1.jar /home/modules/spark-2.3.0/jars/.cp /mnt/obsjar/java-xmlbuilder-1.1.jar /home/modules/spark-2.3.0/jars/.cp /mnt/obsjar/okhttp-3.10.0.jar /home/modules/spark-2.3.0/jars/.cp /mnt/obsjar/okio-1.14.0.jar /home/modules/spark-2.3.0/jars/.
总条数:1487 到第
上滑加载中