-
-
访问上传后的图片地址,会提示下面的错误提示然后看了一下图片只有拥有者才有权限观看,其他的都没有,要在那里去配置呢,我创建桶时桶策略是开启的公共读了的但是其他的用户都没有权限
-
OBS导入数据,将样例数据通过OBS导入到集群。数据导入流程:准备数据文件:CSV格式的数据文件。创建OBS存储桶,并将数据文件上传至桶。创建外表,用于引流OBS存储桶中的数据到GaussDB(DWS)集群。启动GaussDB(DWS)并创建数据库表后,将OBS上的数据导入到表中。 步骤1:上传数据到OBS 准备数据文件 GaussDB(DWS)支持将OBS上的TEXT、CSV、ORC和CARBONDATA格式的数据导入到集群中。提前准备一个数据文件。 OBS上传数据到将上面准备的3个CSV格式的数据源文件存储到OBS桶中。步骤2:外表字段说明步骤3:执行数据导入若出现以下类似信息,说明数据导入成功。执行SELECT命令查询目标表product_info,查看从OBS导入到GaussDB(DWS)中的查询结果显示如中所示的数据,表示导入成功。创建外表 CREATE FOREIGN TABLE date_dim_in_csv3(d_date_sk integer,d_date_id char(16),d_date date,d_month_seq integer,d_week_seq integer,d_quarter_seq integer,d_year integer,d_dow integer,d_moy integer,d_dom integer,d_qoy integer,d_fy_year integer,d_fy_quarter_seq integer,d_fy_week_seq integer,d_day_name char(9) ,d_quarter_name char(6),d_holiday char(1),d_weekend char(1),d_following_holiday char(1),d_first_dom integer,d_last_dom integer,d_same_day_ly integer,d_same_day_lq integer,d_current_day char(1),d_current_week char(1),d_current_month char(1),d_current_quarter char(1),d_current_year char(1)) SERVER gsmpp_server OPTIONS(location 'gsobs://obs-data.obs.ctyun.cn/data/date_dim.dat' ,FORMAT 'TEXT' ,DELIMITER '|', encoding 'utf8',access_key '$access_key ',secret_access_key '$secret_access_key ');在GaussDB(DWS)数据库中,创建一个名为catalog_page_scv的表,用于存储从OBS导入的数据。DROP TABLE IF EXISTS catalog_page_scv;CREATE TABLE catalog_page_scv(d_date_sk INT,d_date_id char(16),d_date date,d_month_seq INT,d_week_seq INT,d_quarter_seq INT,d_year INT,d_dow INT,d_moy INT,d_dom INT,d_qoy INT,d_fy_year INT,d_fy_quarter_seq INT,d_fy_week_seq INT,d_day_name char(9),d_quarter_name char(6),d_holiday char(1),d_weekend char(1),d_following_holiday char(1),d_first_dom INT,d_last_dom INT,d_same_day_ly INT,d_same_day_lq INT,d_current_day char(1),d_current_week char(1),d_current_month char(1),d_current_quarter char(1),d_current_year char(1));执行INSERT命令,通过外表date_dim_in_csv3将OBS上的数据导入到目标表catalog_page_scv 中:insert into catalog_page_scv select * from date_dim_in_csv3;SERVER:无需修改,即固定设为gsmpp_server。LOCATION:OBS路径由“obs://”、桶名和文件路径组成,即为:obs://<bucket_name>/<file_path>FORMAT此教程中待入库的为CSV格式的数据,故设为CSV。如果是其他格式,请对应替换。DELIMITER此教程中数据源文件中的数据是以“,”分隔的。ENCODING此教程中数据源文件编码格式为UTF-8。HEADER此参数用于指定数据文件是否包含标题行。该参数只针对CSV格式的数据文件有效。准备数据文件中的数据文件第一行不是标题行(即表头),故设为“false”。ACCESS_KEY和SECRET_ACCESS_KEY用户访问OBS的AK和SK,请根据实际替换。获取访问密钥,请登录管理控制台,将鼠标移至右上角的用户名,单击“我的凭证”,然后在左侧导航树单击“访问密钥”。在访问密钥页面,可以查看已有的访问密钥ID(即AK),如果要同时获取AK和SK,可以单击“新增访问密钥”创建并下载访问密钥。FILL_MISSING_FIELDS当数据导入时,数据源文件中一行的最后一个字段缺失的处理方式。默认为false/off。本教程中设为“true”。IGNORE_EXTRA_DATA数据源文件中的字段比外表定义列数多时,是否忽略多出的列。默认为false/off。本教程中设为“true”。READ ONLY外表的语法定义通用于从OBS导入数据到GaussDB(DWS)集群和从集群导出数据到OBS。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。LOG INTO指定记录导入过程中数据格式错误信息的错误表。只需指定表名,无需预先创建。GaussDB(DWS)在执行创建外表语句时会自动创建该表,并在删除外表时对其自动删除。PER NODE REJECT LIMIT指定本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量,如果有一个DN实例上的错误数量大于设定值,本次导入失败,报错退出。本教程设置为“unlimited”,即接受导入过程中所有数据格式错误。true/on:表示最后一个字段缺失时,把最后一个字段的值设置为NULL,不报错。false/off:表示最后一个字段缺失时,做如下报错提示:missing data for column "tt"。例如,源数据文件product_info2.csv中第2条记录的最后一个字段段“product_comment_content”缺失。当FILL_MISSING_FIELDS设为false/offtrue/on:数据源文件中字段比外表定义列数多,则忽略行尾多出来的列。不报错false/off:若数据源文件中字段比外表定义列数多,做如下报错提示:extra data after last expected column。例如,源数据文件product_info2.csv中第3条记录比外表定义列数多。当IGNORE_EXTRA_DATA设为false/off时,导入数据时错误表中会有类连接GaussDB(DWS)数据库。创建外表。传到OBS上的三个CSV格式的数据文件,为后续将数据引流至GaussDB(DWS)普通表中做准备。DROP FOREIGN TABLE IF EXISTS product_info_ext;CREATE FOREIGN TABLE product_info_ext( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS(LOCATION 'obs://mybucket/input_data/product_info | obs://mybucket02/input_data/product_info',FORMAT 'CSV' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',ACCESS_KEY 'access_key_value_to_be_replaced',SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited';返回如下信息表示创建成功:CREATE FOREIGN TABLE外表中相关参数的设置说明如下:登录OBS管理控制台。单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。创建桶。如何创建OBS桶。新建文件夹。上传文件//认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全原文链接:https://bbs.huaweicloud.com/blogs/242254【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中) HOT 【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中)扫码关注我哦,我在这里↓↓↓
-
### OBS Browser+简介 https://support.huaweicloud.com/browsertg-obs/obs_03_1000.html ### 安装   ### 运行与登录   * 如果登录中出现问题的话,可以点击 "教您登录"。我就是看了登录教程后,才会登录的。有多种登录方式,需要根据自己的需求来选择。  ### 我的使用场景 在使用modelarts的notebook开发应用时,会加载数据集等文件,这时就会使用obs。 网页端传大文件总觉得不太稳,所以专门下了客户端,管理与上传文件。  欢迎各位同学来讨论~!
-
工具概述文件传输协议(File Transfer Protocol,FTP)当前广泛应用于个人和企业场景,而随着使用时间越来越长,用户越来越多,本地搭建的FTP服务器都会面临空间使用量增长过快,扩容成本高等问题,增加了IT运维管理的难度。华为云的obsftp工具利用pyftpdlib库的FTP server能力和对象存储云端存储能力,提供出具有FTP接入的云上存储使用能力,提供给FTP近乎无限的存储空间。在企业实际业务中,无需单独搭建FTP服务器和存储池,实现业务和运维的轻量化,极大降低了原有的FTP访问方式的技术成本,完美解决了FTP场景下的存储问题,使数据存储和访问不再困难。工具说明工具下载地址:https://github.com/huaweicloud-obs/obsftp功能特性说明:FTP基本的数据上传、下载、删除能力无损支持。后端数据传输支持HTTP/HTTPS两种模式,在兼容性和安全性上提供更多选择。使用不同桶进行不同服务的数据存储,利于业务规划和运维。支持多个FTP客户端挂载使用。一般4核8GB内存的X86服务器可支撑200个以上客户端同时操作。多操作系统支持:支持32/64位Windows、Linux和Mac操作系统。免安装&配置:拥有默认配置,解压后直接启动使用。开源透明:obsftp工具使用Python语言编程,完整的源代码可直接在GitHub获取;可以根据自己的业务诉求进行灵活的二次开发和改造。约束与限制由于FTP协议为明文传输,为了数据的安全性建议将obsftp工具和FTP Client运行在同一台主机上,通过127.0.0.1:port地址来访问规避FTP协议的不安全性。工具包需要解压在以ASCII码支持的字符(即英文与数字、_等)组成的目录下。obsftp对运行环境中的Python版本要求为2.7.9及以上的2.7系列。obsftp工具因FTP协议限制,单个客户端上传大量数据不会并发进行,因此如有大规模数据处理上云建议使用obsutil等工具或使用OBS SDK进行软件开发实现。安装和使用前提条件在使用本工具前,您需完成华为云帐号注册,开通OBS,并创建一个可用的桶。已下载obsftp工具。工具下载地址:https://github.com/huaweicloud-obs/obsftp在Windows上使用此工具前需要您先完成Python安装。Python工具获取地址:https://www.python.org/downloads/release/python-2715/Python安装指导:以普通Windows程序默认安装方式运行安装即可。操作步骤将obsftp工具包解压到ASCII码支持的字符即英文与数字、_等组成的目录下。按“Windows+R”打开运行窗口,输入cmd命令,按“Enter”,打开CMD命令窗口。在CMD命令窗口进入obsftp工具所在目录,执行以下命令,启动obsftp工具。python FTPServerStart.py python FTPServerStart.py --help FTPServerStart.py [options] -h, --help show this help message and exit --masquerade_address=MASQUERADE_ADDRESS the ip that will reply to FTP Client, then client will send data request to this address. --listen_address=LISTEN_ADDRESS the address which ftpserver will listen, default is 127.0.0.1 --port=PORT the local port which ftpserver will listen, default is 10020 --loglevel=LOGLEVEL DEBUG/INFO/ --passive_ports_start==PASSIVE_PORTS_START the start port of passive ports when transefer data,must be >=1 --passive_ports_end==PASSIVE_PORTS_END the end port of passive ports when transefer data,must be <=65535
-
请问有国内的obs java 服务端sdk下载地址吗?或者maven的库,现在开发者文档上都是指向的github,github下载非常缓慢。还有个问题java的sdk是不是android和服务端的可以通用?
-
OBS C SDK在ubuntu系统下无法调用,提示无法引用libcrypto.so.10动态库?这个库应该如何安装?
-
第一次使用这个SDK, 上传文件upload_file是OK的,但是上传对象put_object总是失败,照搬SDK demo程序,上传的本地文件就10几字节;put_object阻塞了好久,回调函数obs_response_complete_CB里面的状态提示109, 不知道哪里有问题:日志:
-
出现这种需要怎么配置
-
楼主好:华为云的C SDK demo 能不能提供下静态库或把编译静态库的.sh提供下,个人想编译一下非常难,ndk so库没的完整的Android工程实例,不好调用成功,增加开发难度,Android工程ndk 编译错误一堆,没的完整Android工程实例,不知道是配置错误,还是代码错误。
-
obs桶对象均已配置成功,数据库服务器和obs服务器均在同一地区 创建外表未报错,出现如下问题,原因?
-
【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】项目组换了新的华为云账号,从ncec2020改成了ncec2021,桶从obs-ap1-ncechicampus改成了dayu-log-ap1-ncechicampus,现在遇到2个问题,一是上传报错,二是ioc菜单图标没了;ABC租户ncec1234华为云账号hwbescloudncec2021【操作步骤&问题现象】1、在obs控制台生成新的访问凭证2.在ABC配置obs访问密钥,测试,报错提示:执行对象存储操作'putobject'时出错,错误原因: obs: service returned error: Status=403 Forbidden, Code=InvalidAccessKeyId, Message=The AWS Access Key Id you provided may has expired., RequestId=00000177F0B7FE3680168A69F64E0E92【截图信息】如上【日志信息】(可选,上传日志内容或者附件)
-
基于Windows编译OBS C SDK指南背景 在Windows下使用OBS C SDK,希望编译成DLL动态链接库文件供工程使用。编译C SDK方法一:进入"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\build"目录下,启动cmd,执行如下命令:"build.bat windows release x64" 编译x64系统下的产物;如果出现如下错误信息,则需要修改编译脚本文件中的换行符格式:打开notepad++软件,利用notepad++打开build.bat及build_x64.bat两个文件,确认右下角的换行符格式,如果为Unix(LF)则需要通过鼠标右键修改为Windows(CR LF):修改后的格式如下:修改完成后重新执行"build.bat windows release x64"命令,最终输出无错误信息即表明编译成功:编译产物见"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\build\obs\windows.zip"文件注意:使用该脚本进行编译时,由于项目依赖Visual studio2010版本,因此需要在本地预先安装过VS2010版本;如果不希望在本地额外安装VS2010版本,可以参考方式二进行编译;方法二:基于visual studio进行编译;此处基于visual studio2015进行编译作为示例;1、打开编译工程打开visual studio 2015,选择File->Open->Project/Solution打开源代码目录下的编译工程(目录:"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\sln\vc100\obs.sln"),打开工程时如出现如下提示是否升级项目的编译器及依赖库时,选择Cancel(表示依赖VS2010编译工具进行编译,如果本地未安装过VS2010,请参考常见问题中的解决方案);2、编译工程选择Build->Rebuild重新编译工程;出现如下提示代表工程编译成功;编译产物见目录:"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\build\vc100\Release"常见问题:a. 提示缺少VS2010 VC100工具集出现该问题的原因是该工程默认采用VS2010工具集进行编译,如果本地环境中未安装过VS2010时将会提示该问题;以visual studio2017版本为例展示该问题解决方案:1、在工程上右键选择重定向项目2、重定向项目至指定平台工具集及SDK版本(以VS2017为例,平台工具集版本为V141)3、替换“your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++lib\win64_x64_msvc\release”目录下的libxml2.lib文件为附件中的libxml2.lib及libxml2.dll文件,否则在高版本VS中编译会提示该依赖库为低版本VS中编译,导致工程编译失败;替换完成后重新编译工程即可;测试C SDK方式一:直接使用提供的测试工程1、打开测试工程打开visual studio 2015,选择File->Open->Project/Solution打开源代码目录下的测试工程(测试工程目录:"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\build\obs\demo\sln\obs_demo.sln");选择对应的发布版本及平台2、编译测试工程选择Build->Rebuild编译测试工程;常见问题:a. 如果出现如下错误,表明未在当前工程路径下找到对应的lib文件,请将上一步中编译得到的libeSDKOBS.lib及huaweisecurec.lib复制到测试工程目录下("your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\build\obs\demo\sln")再重新执行编译;b. 编译过程中出现如下错误时需修改工程配置选项;右键单击工程Properties->Linker->Command Line Additional Options,添加/SAFESEH:NO ;输出如下结果时代表编译测试工程成功,可以根据实际需要配置测试工程中的ACCESS_KEY_ID(对应AK)、SECRET_ACCESS_KEY(对应SK)、HOST_NAME(对应EndPoint)等信息来调用相关接口进行测试;c. 在高版本VS中运行时出现提示“无法从const char* 转换为char*”;出现该问题时,可以通过设置Properties->C/C++->Language->Conformance mode(符合模式)为否来解决;方式二:新建测试工程导入SDK库基于visual studio 2015:1、新建测试工程打开visual studio 2015,File->New->Project新建Visual C++ Win32 Console Application;2、增加项目依赖头文件路径右键工程选择Properties->C/C++->General->Additional Include Directories,添加"your-sdk-path\platform\huaweisecurec\include","your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\inc"到项目依赖头文件路径中;3、配置依赖的库文件:将上一步中编译得到的libeSDKOBS.lib、huaweisecurec.lib文件添加到工程源文件目录下;同时配置工程的额外依赖:Properties->Linker->Input->Additional Dependencies配置完成后,编译测试工程,出现如下图示代表测试工程编译完成;此时即可在测试工程中直接调用SDK中的相关接口访问OBS;要执行该测试工程还需要引入依赖的DLL动态链接库文件;将上一步骤编译得到的libeSDKOBS.dll、huaweisecurec.dll文件添加到工程源文件目录下;将依赖的第三方库文件libcurl.dll、libeay32.dll、ssleay32.dll、pcre.dll、eSDKLogAPI.dll、log4cpp.dll;同时配置工程的依赖库目录:Properties->Linker->General->Addditional Library Directories;库文件目录:libcurl.dll->"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\bin\win64_x64_msvc\release\libcurl.dll"libeay32.dll->"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\bin\win64_x64_msvc\release\libeay32.dll"ssleay32.dll->"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\bin\win64_x64_msvc\release\ssleay32.dll"pcre.dll->"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\bin\win64_x64_msvc\release\pcre.dll"eSDKLogAPI.dll->"your-sdk-path\platform\eSDK_LogAPI_V2.1.10\C\release_x64\eSDKLogAPI.dll"log4cpp.dll->"your-sdk-path\platform\eSDK_LogAPI_V2.1.10\C\release_x64\log4cpp.dll"注意:如果在编译SDK工程时采用了高版本VS进行编译,同时用附件中的libxml2替换了原路径下的libxml2.lib文件,则还需要将libxml2.dll文件添加到工程源文件目录下;libxml2.dll->"your-sdk-path\source\eSDK_OBS_API\eSDK_OBS_API_C++\bin\win64_x64_msvc\release\libxml2.dll"添加完依赖库目录后编译运行即可执行测试工程;常见问题a. 提示缺少MSVCR100.dll文件;原因是当前系统上缺少低版本运行库文件MSVCR100.dll,下载到该文件并放于系统C:\Windows\System32或C:\Windows\SysWOW64目录下即可;对于高版本Visual studio,新建测试工程并引入SDK动态链接库的方法与VS2015基本一致。
-
问题描述已经通过IAM权限、桶策略或ACL配置了OBS权限,访问OBS时仍然提示“拒绝访问,请检查相应权限”,或报“403 AccessDenied”错误
W--wangzhiqiang
发表于2021-02-28 20:01:37
2021-02-28 20:01:37
最后回复
W--wangzhiqiang
2021-02-28 20:02:11
4219 1
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签