• [问题求助] 从友商OBS迁移到华为云OBS是否需要改造?如果需要改造,需要做什么样的改造?客户基于JAVA开发的SDK
  • [问题求助] 调用php obs的SDK上传成功,但是无法访问和下载图片
    访问上传后的图片地址,会提示下面的错误提示然后看了一下图片只有拥有者才有权限观看,其他的都没有,要在那里去配置呢,我创建桶时桶策略是开启的公共读了的但是其他的用户都没有权限
  • [集群&DWS] GaussDB(DWS)数据融合系列第四期:OBS导入数据
    OBS导入数据,将样例数据通过OBS导入到集群。数据导入流程:准备数据文件:CSV格式的数据文件。创建OBS存储桶,并将数据文件上传至桶。创建外表,用于引流OBS存储桶中的数据到GaussDB(DWS)集群。启动GaussDB(DWS)并创建数据库表后,将OBS上的数据导入到表中。    步骤1:上传数据到OBS     准备数据文件     GaussDB(DWS)支持将OBS上的TEXT、CSV、ORC和CARBONDATA格式的数据导入到集群中。提前准备一个数据文件。     OBS上传数据到将上面准备的3个CSV格式的数据源文件存储到OBS桶中。步骤2:外表字段说明步骤3:执行数据导入若出现以下类似信息,说明数据导入成功。执行SELECT命令查询目标表product_info,查看从OBS导入到GaussDB(DWS)中的查询结果显示如中所示的数据,表示导入成功。创建外表                                                                                                                                                                                                                       CREATE FOREIGN TABLE date_dim_in_csv3(d_date_sk integer,d_date_id char(16),d_date date,d_month_seq integer,d_week_seq integer,d_quarter_seq integer,d_year integer,d_dow integer,d_moy integer,d_dom integer,d_qoy integer,d_fy_year integer,d_fy_quarter_seq integer,d_fy_week_seq integer,d_day_name char(9) ,d_quarter_name char(6),d_holiday char(1),d_weekend char(1),d_following_holiday char(1),d_first_dom integer,d_last_dom integer,d_same_day_ly integer,d_same_day_lq integer,d_current_day char(1),d_current_week char(1),d_current_month char(1),d_current_quarter char(1),d_current_year char(1)) SERVER gsmpp_server OPTIONS(location 'gsobs://obs-data.obs.ctyun.cn/data/date_dim.dat' ,FORMAT 'TEXT' ,DELIMITER '|', encoding 'utf8',access_key '$access_key ',secret_access_key '$secret_access_key ');在GaussDB(DWS)数据库中,创建一个名为catalog_page_scv的表,用于存储从OBS导入的数据。DROP TABLE IF EXISTS catalog_page_scv;CREATE TABLE catalog_page_scv(d_date_sk INT,d_date_id char(16),d_date date,d_month_seq INT,d_week_seq INT,d_quarter_seq INT,d_year INT,d_dow INT,d_moy INT,d_dom INT,d_qoy INT,d_fy_year INT,d_fy_quarter_seq INT,d_fy_week_seq INT,d_day_name char(9),d_quarter_name char(6),d_holiday char(1),d_weekend char(1),d_following_holiday char(1),d_first_dom INT,d_last_dom INT,d_same_day_ly INT,d_same_day_lq INT,d_current_day char(1),d_current_week char(1),d_current_month char(1),d_current_quarter char(1),d_current_year char(1));执行INSERT命令,通过外表date_dim_in_csv3将OBS上的数据导入到目标表catalog_page_scv 中:insert into catalog_page_scv select * from date_dim_in_csv3;SERVER:无需修改,即固定设为gsmpp_server。LOCATION:OBS路径由“obs://”、桶名和文件路径组成,即为:obs://<bucket_name>/<file_path>FORMAT此教程中待入库的为CSV格式的数据,故设为CSV。如果是其他格式,请对应替换。DELIMITER此教程中数据源文件中的数据是以“,”分隔的。ENCODING此教程中数据源文件编码格式为UTF-8。HEADER此参数用于指定数据文件是否包含标题行。该参数只针对CSV格式的数据文件有效。准备数据文件中的数据文件第一行不是标题行(即表头),故设为“false”。ACCESS_KEY和SECRET_ACCESS_KEY用户访问OBS的AK和SK,请根据实际替换。获取访问密钥,请登录管理控制台,将鼠标移至右上角的用户名,单击“我的凭证”,然后在左侧导航树单击“访问密钥”。在访问密钥页面,可以查看已有的访问密钥ID(即AK),如果要同时获取AK和SK,可以单击“新增访问密钥”创建并下载访问密钥。FILL_MISSING_FIELDS当数据导入时,数据源文件中一行的最后一个字段缺失的处理方式。默认为false/off。本教程中设为“true”。IGNORE_EXTRA_DATA数据源文件中的字段比外表定义列数多时,是否忽略多出的列。默认为false/off。本教程中设为“true”。READ ONLY外表的语法定义通用于从OBS导入数据到GaussDB(DWS)集群和从集群导出数据到OBS。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。LOG INTO指定记录导入过程中数据格式错误信息的错误表。只需指定表名,无需预先创建。GaussDB(DWS)在执行创建外表语句时会自动创建该表,并在删除外表时对其自动删除。PER NODE REJECT LIMIT指定本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量,如果有一个DN实例上的错误数量大于设定值,本次导入失败,报错退出。本教程设置为“unlimited”,即接受导入过程中所有数据格式错误。true/on:表示最后一个字段缺失时,把最后一个字段的值设置为NULL,不报错。false/off:表示最后一个字段缺失时,做如下报错提示:missing data for column "tt"。例如,源数据文件product_info2.csv中第2条记录的最后一个字段段“product_comment_content”缺失。当FILL_MISSING_FIELDS设为false/offtrue/on:数据源文件中字段比外表定义列数多,则忽略行尾多出来的列。不报错false/off:若数据源文件中字段比外表定义列数多,做如下报错提示:extra data after last expected column。例如,源数据文件product_info2.csv中第3条记录比外表定义列数多。当IGNORE_EXTRA_DATA设为false/off时,导入数据时错误表中会有类连接GaussDB(DWS)数据库。创建外表。传到OBS上的三个CSV格式的数据文件,为后续将数据引流至GaussDB(DWS)普通表中做准备。DROP FOREIGN TABLE IF EXISTS product_info_ext;CREATE FOREIGN TABLE product_info_ext(     product_price                integer        not null,     product_id                   char(30)       not null,     product_time                 date           ,     product_level                char(10)       ,     product_name                 varchar(200)   ,     product_type1                varchar(20)    ,     product_type2                char(10)       ,     product_monthly_sales_cnt    integer        ,     product_comment_time         date           ,     product_comment_num          integer        ,     product_comment_content      varchar(200)                   ) SERVER gsmpp_server  OPTIONS(LOCATION 'obs://mybucket/input_data/product_info | obs://mybucket02/input_data/product_info',FORMAT 'CSV' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',ACCESS_KEY 'access_key_value_to_be_replaced',SECRET_ACCESS_KEY 'secret_access_key_value_to_be_replaced',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLY LOG INTO product_info_err  PER NODE REJECT LIMIT 'unlimited';返回如下信息表示创建成功:CREATE FOREIGN TABLE外表中相关参数的设置说明如下:登录OBS管理控制台。单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。创建桶。如何创建OBS桶。新建文件夹。上传文件//认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全原文链接:https://bbs.huaweicloud.com/blogs/242254【推荐阅读】【最新活动汇总】DWS活动火热进行中,互动好礼送不停(持续更新中)  HOT  【博文汇总】GaussDB(DWS)博文汇总1,欢迎大家交流探讨~(持续更新中)【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1,欢迎大家交流探讨(持续更新中)【项目实践汇总】GaussDB(DWS)项目实践汇总贴,欢迎大家交流探讨(持续更新中)【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总,欢迎大家交流学习(持续更新中)【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习(持续更新中)扫码关注我哦,我在这里↓↓↓
  • [产品讨论] OBS Browser+ 尝试安装与登录
    ### OBS Browser+简介 https://support.huaweicloud.com/browsertg-obs/obs_03_1000.html   ### 安装 ![obs-browser-plus-install-1.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/222501v1oimspxhzpsdpxz.png) ![obs-browser-plus-install-2.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/222507ysnlgxuewhmwylvx.png)   ### 运行与登录 ![obs-browser-plus-install-3.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/222514bwhpkknw1za22bmm.png) ![obs-browser-plus-install-4.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/222519oybgcltmnvfbpgcb.png) * 如果登录中出现问题的话,可以点击 "教您登录"。我就是看了登录教程后,才会登录的。有多种登录方式,需要根据自己的需求来选择。 ![obs-browser-plus-install-6.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/222540s89sfi0wu9vunbdl.png)   ### 我的使用场景 在使用modelarts的notebook开发应用时,会加载数据集等文件,这时就会使用obs。 网页端传大文件总觉得不太稳,所以专门下了客户端,管理与上传文件。 ![obs-browser-plus-install-7.png](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/forums/attachment/forum/202103/20/2225542xicxmdkeoz3bvxg.png)   欢迎各位同学来讨论~!
  • [技术干货] obsftp 工具使用实践
    工具概述文件传输协议(File Transfer Protocol,FTP)当前广泛应用于个人和企业场景,而随着使用时间越来越长,用户越来越多,本地搭建的FTP服务器都会面临空间使用量增长过快,扩容成本高等问题,增加了IT运维管理的难度。华为云的obsftp工具利用pyftpdlib库的FTP server能力和对象存储云端存储能力,提供出具有FTP接入的云上存储使用能力,提供给FTP近乎无限的存储空间。在企业实际业务中,无需单独搭建FTP服务器和存储池,实现业务和运维的轻量化,极大降低了原有的FTP访问方式的技术成本,完美解决了FTP场景下的存储问题,使数据存储和访问不再困难。工具说明工具下载地址:https://github.com/huaweicloud-obs/obsftp功能特性说明:FTP基本的数据上传、下载、删除能力无损支持。后端数据传输支持HTTP/HTTPS两种模式,在兼容性和安全性上提供更多选择。使用不同桶进行不同服务的数据存储,利于业务规划和运维。支持多个FTP客户端挂载使用。一般4核8GB内存的X86服务器可支撑200个以上客户端同时操作。多操作系统支持:支持32/64位Windows、Linux和Mac操作系统。免安装&配置:拥有默认配置,解压后直接启动使用。开源透明:obsftp工具使用Python语言编程,完整的源代码可直接在GitHub获取;可以根据自己的业务诉求进行灵活的二次开发和改造。约束与限制由于FTP协议为明文传输,为了数据的安全性建议将obsftp工具和FTP Client运行在同一台主机上,通过127.0.0.1:port地址来访问规避FTP协议的不安全性。工具包需要解压在以ASCII码支持的字符(即英文与数字、_等)组成的目录下。obsftp对运行环境中的Python版本要求为2.7.9及以上的2.7系列。obsftp工具因FTP协议限制,单个客户端上传大量数据不会并发进行,因此如有大规模数据处理上云建议使用obsutil等工具或使用OBS SDK进行软件开发实现。安装和使用前提条件在使用本工具前,您需完成华为云帐号注册,开通OBS,并创建一个可用的桶。已下载obsftp工具。工具下载地址:https://github.com/huaweicloud-obs/obsftp在Windows上使用此工具前需要您先完成Python安装。Python工具获取地址:https://www.python.org/downloads/release/python-2715/Python安装指导:以普通Windows程序默认安装方式运行安装即可。操作步骤将obsftp工具包解压到ASCII码支持的字符即英文与数字、_等组成的目录下。按“Windows+R”打开运行窗口,输入cmd命令,按“Enter”,打开CMD命令窗口。在CMD命令窗口进入obsftp工具所在目录,执行以下命令,启动obsftp工具。python FTPServerStart.py python FTPServerStart.py --help FTPServerStart.py [options] -h, --help                                 show this help message and exit --masquerade_address=MASQUERADE_ADDRESS    the ip that will reply to FTP Client, then client will send data request to this address. --listen_address=LISTEN_ADDRESS            the address which ftpserver will listen, default is 127.0.0.1 --port=PORT                                the local port which ftpserver will listen, default is 10020 --loglevel=LOGLEVEL                        DEBUG/INFO/ --passive_ports_start==PASSIVE_PORTS_START the start port of passive ports when transefer data,must be >=1 --passive_ports_end==PASSIVE_PORTS_END     the end port of passive ports when transefer data,must be <=65535
  • [问题求助] obs java 服务端sdk
    请问有国内的obs java 服务端sdk下载地址吗?或者maven的库,现在开发者文档上都是指向的github,github下载非常缓慢。还有个问题java的sdk是不是android和服务端的可以通用?
  • [问题求助] OBS C SDK在ubuntu系统下无法调用,提示无法引用libcrypto.so.10动态库?这个库应该如何安装?
    OBS C SDK在ubuntu系统下无法调用,提示无法引用libcrypto.so.10动态库?这个库应该如何安装?
  • [问题求助] OBS_C-SDK上传对象失败错误码109
    第一次使用这个SDK, 上传文件upload_file是OK的,但是上传对象put_object总是失败,照搬SDK demo程序,上传的本地文件就10几字节;put_object阻塞了好久,回调函数obs_response_complete_CB里面的状态提示109, 不知道哪里有问题:日志:
  • [其他] 【Notebook】【OBS文件读取】import moxing时报错
    【功能模块】【Notebook】【OBS文件读取】import moxing时报错【场景描述】昨天下午:有个200多M的数据文件,存在于OBS中。我尝试通过点击 Sync OBS ,进行同步时,提示错误。(已发帖求助)之后通过查找相关资料,得知可以通过moxing来读取OBS中的文件于是,我在Notebook中尝试导入moxing提示告诉我,没有moxing???此时已经有些疑惑了按照之前的排错经验,没有Module的话,可以通过pip安装昨天尝试pip找不到匹配的moxing然后就把整个notebook环境删除,去做别的事情了。今天下午:再次尝试,又新建了一个新的notebook环境成功导入moxing。很疑惑,要不是昨天的报错还保留在ipynb中,我甚至怀疑自己记错了再次尝试用pip寻找moxing时还是找不到。【问题求助】1. 为什么会出现import moxing,提示报错的现象?2. pip安装moxing会提示找不到,那应该如何安装moxing呢?
  • [其他] 【Notebook】【Sync OBS】同步200M文件时报错
    【功能模块】【Notebook】【Sync OBS】同步200多M的文件时报错【操作步骤&问题现象】1、同步大小为50多M的文件成功2、同步200多M的文件失败notebook信息IDDE-a75dcc54-862a-11eb-8a0b-0255ac10004a官网手册没有超过文件大小的限制,却报错了,求助大佬们
  • [问题求助] obs文件通过URL访问对象失败
    出现这种需要怎么配置
  • [技术干货] 蚂蚁雅黑+2我也来
    OBS环境准备https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=00bc20c3-2a00-4231-bdfd-dfa3eb62a46d 点击「下载按钮」进入「下载详情」,设置 OBS 路径,「确定」下载即可将模型和素材下载到自己的 OBS 中,比如我路径是耐心等待完成就好啦打开链接https://console.huaweicloud.com/modelarts/?region=cn-north-4#/notebook点击创建也可以用限时免费GPU版的,这里因为我已经创建了一个免费版,所以用付费的进行展示,都是一样的。点击下一步点击提交返回Notebook列表点击启动点击打开 找到File选项点击open 进入文件夹选择first-order-motion-model打开,点击upload上传自己需要制作效果的照片这里我上传了00.png,再点击一下upload上传water.png点击下载result_water.mp4,就可以看到最终效果啦~
  • [问题求助] 关于OBS C SDK
    楼主好:华为云的C SDK demo 能不能提供下静态库或把编译静态库的.sh提供下,个人想编译一下非常难,ndk so库没的完整的Android工程实例,不好调用成功,增加开发难度,Android工程ndk 编译错误一堆,没的完整Android工程实例,不知道是配置错误,还是代码错误。
  • [其他问题] Notebook是否可以直接访问obs中zip压缩包内的文件?
    Notebook是否可以直接访问obs中zip压缩包内的文件?还是必须等复制到Notebook的容器内。
  • [产品讨论] 从dws向obs导出数据错误
    obs桶对象均已配置成功,数据库服务器和obs服务器均在同一地区         创建外表未报错,出现如下问题,原因?
总条数:1277 到第
上滑加载中