-
背景信息大数据时代的到来,大数据、云计算和人工智能等新技术应用不断深化,为数据的深度挖掘及分析提供了强有力的支撑,大数据中蕴含的巨大价值被逐步挖掘出来。然而,一系列信息泄露事件的曝光,使得数据安全越来越受到广泛的关注。各国各地区逐步建立健全和完善数据安全与隐私保护相关法律法规,提供用户隐私保护的法律保障。如何加强技术层面的数据安全和隐私保护,是对数据仓库产品提出的要求,也是数据安全建设最有效的办法。GaussDB(DWS)产品8.1.1版本发布数据脱敏特性,支持指定用户范围内列级敏感数据的脱敏功能,具有灵活、高效、透明、友好等优点。使得敏感及隐私信息不被泄露,提高了对敏感及私密数据的保护,极大地增强了产品的数据安全能力。什么是数据脱敏数据脱敏(Data Masking),即屏蔽敏感数据,对某些敏感信息(比如,身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、银行账号、密码类等等 )通过脱敏规则进行数据的变形,实现隐私数据的可靠保护。业界常见的脱敏规则有,替换、重排、加密、截断、掩码,用户也可以根据期望的脱敏算法自定义脱敏规则。良好的数据脱敏实施,需要遵循两个原则:第一,尽可能地为脱敏后的应用,保留脱敏前的有意义信息;第二,最大程度地防止黑客进行破解。数据脱敏分为静态数据脱敏和动态数据脱敏。静态数据脱敏,是数据的“搬移并仿真替换”,是将数据抽取进行脱敏处理后,下发给下游环节,随意取用和读写的,脱敏后数据与生产环境相隔离,满足业务需求的同时保障生产数据库的安全。动态数据脱敏,在访问敏感数据的同时实时进行脱敏处理,可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案,从而确保返回的数据可用而安全。下图为一个简单的静态脱敏和动态脱敏示例,可以看出两者的不同。GaussDB (DWS)的数据脱敏功能,摒弃业务应用层脱敏依赖性高、代价大等痛点,将数据脱敏内化为数据库产品自身的安全能力,提供了一套完整、安全、灵活、透明、友好的数据脱敏解决方案,属于动态数据脱敏。用户识别敏感字段后,基于目标字段,绑定内置脱敏函数,即可创建脱敏策略。脱敏策略(Redaction Policy)与表对象是一一对应的。一个脱敏策略包含表对象、生效条件、脱敏列-脱敏函数对三个关键要素,是该表对象上所有脱敏列的集合,不同字段可以根据数据特征采用不同的脱敏函数。当且仅当生效条件为真时,查询语句才会触发敏感数据的脱敏,而脱敏过程是内置在SQL引擎内部实现的,对生成环境用户是透明不可见的。数据脱敏如何使用第一步:创建脱敏策略需确定受限制用户角色。动态数据脱敏,是在查询语句执行过程中,根据生效条件是否满足,实现实时的脱敏处理。生效条件,通常是针对当前用户角色的判断。敏感数据的可见范围,即是针对不同用户预设的。系统管理员,具有最高权限,任何时刻对任何表的任何字段都可见。第二步:识别和梳理具体业务场景的敏感字段。敏感信息依赖于实际业务场景和安全维度,以自然人为例,用户个体的敏感字段包括:姓名、身份证号、手机号、邮箱地址等等;在银行系统,作为客户,可能还涉及银行卡号、过期时间、支付密码等等;在公司系统,作为员工,可能还涉及薪资、教育背景等;在医疗系统,作为患者,可能还涉及就诊信息等等。第三步:确定脱敏列需要绑定的脱敏函数。产品内置一系列常见的脱敏函数接口,可以针对不同数据类型和数据特征,指定参数,从而达到不一样的脱敏效果。脱敏函数可采用如下三种内置接口,同时支持自定义脱敏函数。三种内置脱敏函数能够涵盖大部分场景的脱敏效果,不推荐使用自定义脱敏函数。MASK_NONE:不作脱敏处理,仅内部测试用。MASK_FULL:全脱敏成固定值。MASK_PARTIAL:使用指定的脱敏字符对脱敏范围内的内容做部分脱敏。不同脱敏列可以采用不同的脱敏函数。比如,手机号通常显示后四位尾号,前面用"*"替换;金额统一显示为固定值0,等等。数据脱敏使用示例以某公司员工表emp,表的属主用户alice以及用户matu、july为例,简单介绍数据脱敏的使用过程。其中,表emp包含员工的姓名、手机号、邮箱、发薪卡号、薪资等隐私数据,用户alice是人力资源经理,用户matu和july是普通职员。假设表、用户及用户对表emp的查看权限均已就绪。创建脱敏策略mask_emp,仅允许alice查看员工所有信息,matu和july对发薪卡号、薪资均不可见。字段card_no是数值类型,采用MASK_FULL全脱敏成固定值0;字段card_string是字符类型,采用MASK_PARTIAL按指定的输入输出格式对原始数据作部分脱敏;字段salary是数值类型,采用数字9部分脱敏倒数第二位前的所有数位值。postgres=# CREATE REDACTION POLICY mask_emp ON emp WHEN (current_user != 'alice') ADD COLUMN card_no WITH mask_full(card_no), ADD COLUMN card_string WITH mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV','VVVV-VVVV-VVVV-VVVV','#',1,12), ADD COLUMN salary WITH mask_partial(salary, '9', 1, length(salary) - 2);切换到matu和july,查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)由于工作调整,matu进入人力资源部参与公司招聘事宜,也对员工所有信息可见,修改策略生效条件。postgres=> ALTER REDACTION POLICY mask_emp ON emp WHEN(current_user NOT IN ('alice', 'matu'));切换到用户matu和july,重新查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+------------------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 1234123412341234 | 1234-1234-1234-1234 | smithWu@163.com | 10000.0000 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 3456345634563456 | 3456-3456-3456-3456 | 66allen_mm@qq.com | 9999.9900 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)员工信息phone_no、email和birthday也是隐私数据,更新脱敏策略mask_emp,新增三个脱敏列。postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN phone_no WITH mask_partial(phone_no, '*', 4); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN email WITH mask_partial(email, '*', 1, position('@' in email)); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN birthday WITH mask_full(birthday);切换到用户july,查看员工表emp。postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 134******** | 0 | ####-####-####-1234 | ********163.com | 99999.9990 | 1970-01-01 00:00:00 2 | bob | 182******** | 0 | ####-####-####-3456 | ***********qq.com | 9999.9990 | 1970-01-01 00:00:00 3 | cici | 155******** | | | ************sina.com | | 1970-01-01 00:00:00 (3 rows)考虑用户交互的友好性,GaussDB (DWS) 提供系统视图redaction_policies和redaction_columns,方便用户直接查看更多脱敏信息。postgres=> SELECT * FROM redaction_policies; object_schema | object_owner | object_name | policy_name | expression | enable | policy_description ---------------+--------------+-------------+-------------+-----------------------------------+--------+-------------------- public | alice | emp | mask_emp | ("current_user"() = 'july'::name) | t | (1 row) postgres=> SELECT object_name, column_name, function_info FROM redaction_columns; object_name | column_name | function_info -------------+-------------+------------------------------------------------------------------------------------------------------- emp | card_no | mask_full(card_no) emp | card_string | mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV'::text, 'VVVV-VVVV-VVVV-VVVV'::text, '#'::text, 1, 12) emp | email | mask_partial(email, '*'::text, 1, "position"(email, '@'::text)) emp | salary | mask_partial(salary, '9'::text, 1, (length((salary)::text) - 2)) emp | birthday | mask_full(birthday) emp | phone_no | mask_partial(phone_no, '*'::text, 4) (6 rows)突然某一天,公司内部可共享员工信息时,直接删除表emp的脱敏策略mask_emp即可。postgres=> DROP REDACTION POLICY mask_emp ON emp;GaussDB(DWS)数据脱敏优势一套简单、易用的数据脱敏策略语法。一系列可覆盖常见隐私数据脱敏效果的、灵活配置的内置脱敏函数。一个完备、便捷的脱敏策略应用方案,使得原始语句在执行过程中可以实时、透明、高效地实现脱敏。GaussDB(DWS)充分满足客户业务场景的数据脱敏诉求,支持常见隐私数据的脱敏效果,实现敏感数据的可靠保护。了解更多华为云数据仓库GaussDB(DWS),请点击这里。
数仓云云
发表于2021-07-19 10:35:30
2021-07-19 10:35:30
最后回复
Select*fromMacchiato
2021-07-30 23:40:55
3879 1 -
上回文说道,如何用内网连接数据库实例。今天,我们就来说说如何通过公网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。公网连接的判断方式:如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤步骤 1、购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。 gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。步骤 2、在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/tools tar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATH export LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc步骤 3、判断实例与ECS是否需要通过公网连接。如果安装gsql的ECS和数据库实例不在同一区域,同一可用区,则需要通过绑定弹性公网IP进行连接。数据库实例的区域、可用区和VPC查看。ECS的区域、可用区和VPC查看方法如下:步骤 4 、为实例绑定公网IP。在实例基本信息页单击“绑定”,选择IP后进行绑定,如果账户下没有公网IP,需要去购买。步骤 5 、为ECS绑定公网IP,具体请参考ECS绑定弹性公网IP。步骤 6 、公网连接数据库实例。查看GaussDB数据库的公网IP地址,具体如下:然后通过公网登录ECS,并在ECS服务器执行如下命令进行连接:gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r10.154.217.136为公网IP,要替换为自己实例绑定的公网IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 10.154.217.136 -U root -p 8000 -r Password for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 ) SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128) Type "help" for help. postgres=>步骤 7、数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
-
关键词:华为云 数据安全中心 数据水印 版权保护 追踪溯源数据水印是将特定的信息嵌入到数据载体(数据库、图片、文档等)中,在数据的使用过程中,嵌入的信息会随着数据一并被拷贝,但不影响数据的正常使用,且水印内容不容易被修改。例如,给图片打上特定水印,音频加入隐藏音段,就能确定作品创造者。数据水印有什么作用呢?数据水印广泛适用于政府部门、医疗、金融、科研等单位机构。一般用于版权保护、追踪溯源。数据版权保护:数字作品被下载或者复制使用,数据库业务(数据挖掘分析)需要提供数据给第三方,发生纠纷时可以通过数据水印明确版权所属。使用过程可追踪溯源:数据给内部员工或第三方使用时,打上使用者信息水印,可识别使用者身份,提醒使用者要注意安全规范。当发生数据泄露事件时,可追踪泄露源头,挖掘泄露原因。那么,如何为数据嵌入水印信息,防止数据被盗用呢?华为云DSC服务为您提供了数据水印能力,助您轻松保障数据安全!华为云DSC数据水印具备以下优势特点:支持明暗双重水印:可根据需要对数据打上视觉上看得见的明水印或看不见的暗水印,都不影响使用效果,有效应对图像处理工具或者拍照截图等绕过方式窃取数据。支持嵌入/提取水印的文件类型具体的文件格式文档PDF、PPT、Word、Excel图片*.jpg、 *.jpeg、 *.jpe、*.png、*.bmp、*.dib、 *.rle、*.tiff、*.tif、*.ppm、*.webp、*.tga、*.tpic、*.gif数据库所有的数据库类型都支持。可检测性强,不易被篡改:数据打上水印能够被检测且不会因为数据的改动而导致丢失、伪造或篡改。高鲁棒性:水印在传输或使用过程中不易被磨灭掉,数据载体即使经过被改动或受到攻击损坏后,依然有很大概率提取出水印。DSC控制台仅支持对PDF、PPT、Word、Excel格式的文档嵌入和提取水印,图片和数据库水印仅能使用API调用方式,具体的请参考嵌入图片水印和嵌入数据库水印。跟随小课的脚步,一起学习如何通过华为云DSC嵌入和提取文档水印吧~~嵌入水印购买数据安全中心服务后,进入DSC管理控制台。在左侧导航树中选择“数据水印”,进入“水印注入”页面。选择文件,即上传需要嵌入水印的文件。若需要嵌入的文件保存在华为云OBS桶,请单击“云上文件”,选择桶名称和需要嵌入水印的文件名称,单击“确定”。图1 选择云上文件若需要嵌入的文件保存在本地,请单击“本地文件”,将本地需要嵌入水印的文件上传到DSC平台。文件上传成功后,配置水印类型和水印内容,明水印效果预览如下图所示。参数配置完后,单击“确定”,嵌入水印的文件会自动下载到您指定的路径下。如果您嵌入的是明水印,可在本地打开水印文件查看效果。如果您嵌入的是暗水印,水印内容不可见,可参考以下步骤提取暗水印内容。提取水印在“数据水印”页面,选择“水印提取”页签。选择文件,即上传需要提取水印的文件。若需要提取水印的文件保存在华为云OBS桶,请单击“云上文件”,选择桶名称和需要提取水印的文件名称,单击“确定”。若需要提取水印的文件保存在本地,请单击“本地文件”,将本地需要提取水印的文件上传到DSC平台。文件上传后,单击“确定”,水印内容将展示在弹框中。更多关于DSC的功能,戳这里进行了解吧~~
-
在训练模型后,用户往往需要通过测试数据集来评估新模型的泛化能力。通过验证测试数据集上的平均损失,可以评估模型对未知数据的预测能力。模型评价指标是评估模型泛化能力的标准,不同的指标往往会导致不同的评判结果。ModelArts模型评估/诊断功能针对不同类型模型的评估任务,提供相应的评估指标。在展示评估结果的同时,会根据不同的数据特征对模型进行详细的评估,获得每个数据特征对评估指标的敏感度,并给出优化建议。模型评估/诊断功能帮助用户可以全面了解模型对不同数据特征的适应性,使得模型调优可以做到有的放矢。当前模型评估功能覆盖图像分类、物体检测和图像语义分割三大场景,快来看看如何使用模型评估功能吧~图像分类图像分类评估指标说明物体检测物体检测评估指标说明 图像语义分割图像语义分割评估指标说明 调用模型评估接口了解评估结果ModelArts提供了“analyse”接口,用于模型评估。用户在推理结束后,传入指定参数调用该接口即可获取评估结果。> analyse(task_type=‘’,pred_list=[],label_list=[],name_list=[],custom_metric=‘’,label_map_dict=‘’)参数说明参数是否必选说明task_type是任务类型。支持“image_classification”或“image_object_detection”参数值。 “image_classification”表示图像分类。 “image_object_detection”表示物体检测。pred_list是模型预测输出列表。label_list是所有图片的标签列表。name_list是所有图片对应的OBS路径。此处需使用绝对路径。custom_metric否用户自定义的指标。label_map_dict否标签索引和名称。如果不设置,系统默认使用{“0”: “0”, “1”: “1”, “2”: “2”, …}作为展示标签。 示例:{“0”: “dog”, “1”: “cat”, “2”: “horse”}更多接口介绍详见模型评估接口,更多代码示例详见模型评估代码示例,更多帮助参见模型评估优化建议~
-
GaussDB(DWS)作为一款运行在华为云上的核心数据仓库,客户大量的数据存储在DWS的数据节点中,DWS不仅拥有海量数据查询的极致性能,在安全方面还需要有加固防护措施。当前数据库都是多个用户共同访问数据,这些数据都具有重要价值,关系到用户的核心资产和用户隐私,如何禁止别有用心的用户窃取以及黑客攻击,本课程给您提供数据的安全管理方法。云数仓安全层层防护云数仓外部:由华为云的云安全管理产品保驾护航。如:Anti-DDoS、DDoS、Web应用防火墙、漏洞扫描服务、企业主机安全、数据加密服务、SSL证书管理、云堡垒机等。云数仓内部:主要通过三权分立、行级访问控制、审计管理三种方式进行防护。这三方式结合到数据开发实际场景中,简单可以概括为(1)谁能看?(2)能看啥?(3)看没看? 下面我们从这三个方面一一介绍:(1)谁能看?通过DWS三权分立模型,将管理员分成三类:系统管理员,安全管理员和审计管理员,不存在“一手遮天”的管理员,当某个管理员密码泄露时,使数据库破坏降到最低。从此各司其职,安全管理员负责用户,审计管理员负责日志审计,系统管理员负责系统运维。表1 三权分立管理员名称能否创建用户能否查看审计日志是否有系统管理员权限系统管理员否否是安全管理员是否否审计管理员否是否开启三权分立后,对象权限变化如下表说明:表1 未开启三权分立对象名称系统管理员安全管理员|审计管理员表空间对表空间有创建、修改、删除、访问、分配操作的权限。不具有对表空间进行创建、修改、删除、分配的权限,访问需要被赋权。表对所有表有所有的权限。仅对自己的表有所有的权限,对其他用户的表无权限。索引可以在所有的表上建立索引。仅可以在自己的表上建立索引。模式对所有模式有所有的权限。仅对自己的模式有所有的权限,对其他用户的模式无权限。函数对所有的函数有所有的权限。仅对自己的函数有所有的权限,对其他用户放在public这个公共模式下的函数有调用的权限,对其他用户放在其他模式下的函数无权限。自定义视图对所有的视图有所有的权限。仅对自己的视图有所有的权限,对其他用户的视图无权限。系统表和系统视图可以查看所有系统表和视图。只可以查看部分系统表和视图。表1 开启三权分立对象名称系统管理员安全管理员|审计管理员表空间无变化无变化。表权限缩小。只对自己的表有所有权限,对其他用户放在属于各自模式下的表无权限。无变化。索引权限缩小。只可以在自己的表上建立索引。无变化。模式权限缩小。只对自己的模式有所有的权限,对其他用户的模式无权限。无变化。函数权限缩小。只对自己的函数有所有的权限,对其他用户放在属于各自模式下的函数无权限。无变化。自定义视图权限缩小。只对自己的视图及其他用户放在public模式下的视图有所有的权限,对其他用户放在属于各自模式下的视图无权限。无变化。系统表和系统视图无变化。无变化。开启方法:录GaussDB(DWS) 管理控制台。在左侧导航树中,单击“集群管理”。在集群列表中,单击指定集群的名称,然后单击“安全设置”,打开三权分立开关。依次设置安全管理员用户名、密码、审计管理员用户、密码。单击“应用”。在弹出的“保存配置”窗口中,选择是否勾选“立即重启集群”,然后单击“是”,重启后生效。(2)能看啥?行级访问控制特性是将数据库访问控制精确到数据表行级别,使数据库达到行级访问控制的能力。不同用户执行相同的SQL查询操作,读取到的结果是不同的。即同一张表,不同用户只能查看自身相关的数据信息,不能查看其他用户的数据信息。GaussDB(DWS)主要通过“ALTER TABLE tablename ENABLE ROW LEVEL SECURITY”语法实现行级访问控制,示例如下:创建用户alice, bob, peter。CREATE ROLE alice PASSWORD 'Gauss@123'; CREATE ROLE bob PASSWORD 'Gauss@123'; CREATE ROLE peter PASSWORD 'Gauss@123';创建表public.all_data,包含不同用户数据信息。CREATE TABLE public.all_data(id int, role varchar(100), data varchar(100));向数据表插入数据。INSERT INTO all_data VALUES(1, 'alice', 'alice data'); INSERT INTO all_data VALUES(2, 'bob', 'bob data'); INSERT INTO all_data VALUES(3, 'peter', 'peter data');将表all_data的读取权限赋予alice,bob和peter用户。GRANT SELECT ON all_data TO alice, bob, peter;打开行访问控制策略开关。ALTER TABLE all_data ENABLE ROW LEVEL SECURITY;创建行访问控制策略,当前用户只能查看用户自身的数据。CREATE ROW LEVEL SECURITY POLICY all_data_rls ON all_data USING(role = CURRENT_USER);查看表详细信息。 \d+ all_data Table "public.all_data" Column | Type | Modifiers | Storage | Stats target | Description --------+------------------------+-----------+----------+--------------+------------- id | integer | | plain | | role | character varying(100) | | extended | | data | character varying(100) | | extended | | Row Level Security Policies: POLICY "all_data_rls" USING (((role)::name = "current_user"())) Has OIDs: no Distribute By: HASH(id) Location Nodes: ALL DATANODES Options: orientation=row, compression=no, enable_rowsecurity=true切换至用户alice,执行SQL"SELECT * FROM all_data"SET ROLE alice PASSWORD 'Gauss@123'; SELECT * FROM all_data; id | role | data ----+-------+------------ 1 | alice | alice data (1 row) EXPLAIN(COSTS OFF) SELECT * FROM all_data; QUERY PLAN ---------------------------------------------------------------- Streaming (type: GATHER) Node/s: All datanodes -> Seq Scan on all_data Filter: ((role)::name = 'alice'::name) Notice: This query is influenced by row level security feature (5 rows)切换至用户peter,执行SQL"SELECT * FROM .all_data"SET ROLE peter PASSWORD 'Gauss@123'; SELECT * FROM all_data; id | role | data ----+-------+------------ 3 | peter | peter data (1 row) EXPLAIN(COSTS OFF) SELECT * FROM all_data; QUERY PLAN ---------------------------------------------------------------- Streaming (type: GATHER) Node/s: All datanodes -> Seq Scan on all_data Filter: ((role)::name = 'peter'::name) Notice: This query is influenced by row level security feature (5 rows)(3)看没看?GaussDB(DWS) 支持对特定数据库操作记录审计日志,包括:日志保留策略、用户越权访问、存储过程以及对数据库对象的DML、SELECT、COPY和DDL操作。审计日志配置后,当GaussDB(DWS) 集群状态异常,或根据业务需要,用户可以查询审计信息确定故障原因或定位历史操作记录。配置方法:登录GaussDB(DWS) 管理控制台。单击“集群管理”。在集群列表中,单击指定集群的名称,然后单击“安全设置”。在“审计配置”区域中,设置审计日志保留策略。表1 审计日志保留策略参数名说明审计日志保留策略设置审计日志保留策略,支持如下两种策略:“空间优先”:表示当单个节点的审计日志超过1G后,将自动淘汰审计日志。“时间优先”:表示在“审计日志最小保存时间(天)”内会保留审计日志,超过时间后,根据存储容量限制(单个节点1G),对审计日志进行自动淘汰。审计日志最小保存时间(天)当“审计日志保留策略”设置为“时间优先”策略时,该参数有效。可选天数为0~730天,默认值为90天。根据需要设置以下操作的审计开关。表1 审计项参数名说明审计用户越权访问操作表示是否记录用户的越权访问操作,默认关闭。审计DML操作表示是否对数据表的INSERT、UPDATE和DELETE操作进行记录,默认关闭。审计SELECT操作表示是否对SELECT操作进行记录,默认关闭。审计存储过程执行表示是否在执行存储过程和自定义函数的时候记录操作信息,默认关闭。审计COPY操作表示是否对COPY操作进行记录,默认关闭。审计DDL操作表示是否对指定数据库对象的CREATE、DROP和ALTER操作进行记录。除“Database”、“Schema”和“User”默认启用记录,其他默认关闭。GaussDB(DWS) 默认还开启了以下的关键审计项。表1 关键审计项参数名说明关键审计项记录用户登录成功、登录失败和注销的信息。记录数据库启动、停止、恢复和切换审计信息。记录用户锁定和解锁功能信息。记录用户权限授予和权限回收信息。记录SET操作的审计功能。设置是否开启审计日志转储功能。单击“应用”。查看审计日志:只有拥有AUDITADMIN属性的用户才有查看权限,查询格式如下:pg_query_audit(timestamptz startime,timestamptz endtime,audit_log)查询审计记录。SELECT * FROM pg_query_audit('2015-07-15 08:00:00','2015-07-15 09:47:33');查询结果如下: time | type | result | username | database | client_conninfo | object_name | detail_info | node_name | thread_id | local_port | remote_port ------------------------+---------------+--------+----------+----------------+-----------------+----------------+---------------------------------------------------------------+-----------+---------------------------------+------------+------------- 2015-07-15 08:03:55+08 | login_success | ok | dbadmin | gaussdb | gs_clean@::1 | gaussdb | login db(gaussdb) success,the current user is:dbadmin | cn_5003 | 139808902997776@490233835920483 | 9000 | 55805该条记录表明,用户ommdbadmin在2021-02-23 21:49:57.82+08登录数据库gaussdb。其中client_conninfo字段在log_hostname启动且IP连接时,字符@后显示反向DNS查找得到的主机名。查询所有CN节点审计记录。SELECT * FROM pgxc_query_audit('2019-01-10 17:00:00','2019-01-10 19:00:00') where type = 'login_success' and username = 'user1';查询结果如下: time | type | result | username | database | client_conninfo | object_name | detail_info | node_name | thread_id | local_port | remote_port ------------------------+---------------+--------+----------+----------+-----------------+-------------+------------------------------------------------------+--------------+---------------------------------+- -----------+------------- 2019-01-10 18:06:08+08 | login_success | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db(gaussdb) success,the current user is:user1 | coordinator1 | 139965149210368@600429968516954 | 17560 | null 2019-01-10 18:06:22+08 | login_success | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db(gaussdb) success,the current user is:user1 | coordinator1 | 139965149210368@600429982697548 | 17560 | null 2019-01-10 18:06:54+08 | login_success | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db(gaussdb) success,the current user is:user1 | coordinator2 | 140677694355200@600430014804280 | 17562 | null (3 rows)查询结果显示,用户user1在CN1和CN2的成功登录记录。了解更多华为云数据仓库GaussDB(DWS),请猛戳
-
关键词:华为云 数据安全中心 敏感数据 识别 数据脱敏敏感数据是指泄漏后可能会给社会或个人带来严重危害的数据。对个人而言,身份证号码、家庭住址、工作单位、银行卡号等隐私信息都是敏感数据;对企业或组织而言,客户资料、财务信息、技术资料、重大决策等公司核心信息都是敏感数据。静态脱敏:您可以按照脱敏规则一次性完成大批量数据的变形转换处理,静态脱敏通常用在将生产环境中的敏感数据交付至开发、测试或者外发环境的情况使用,适用于开发测试、数据分享、数据研究等场景。您可以通过DSC控制台创建脱敏任务,快速实现对数据库和大数据的脱敏。动态脱敏:DSC提供动态脱敏API,支持用户对外部申请访问的数据实时脱敏。动态脱敏通常会在数据对外提供查询服务的场景中使用,适用于生产应用、数据交换、运维应用、精准营销等场景。具体操作方法请参考数据动态脱敏。那么,如何为敏感数据穿上"防护衣",有效保护敏感数据呢?DSC助您轻松实现数据的动静脱敏,全方位确保敏感信息不被泄露。跟随小课的脚步,两步教您通过华为云DSC实现敏感数据识别与脱敏~~DSC预置了100+条敏感数据识别和脱敏规则,可对个人敏感信息(身份证、银行卡、姓名、手机号、邮箱等)、企业敏感信息(营业执照号码、税务登录证号码等)、密钥敏感信息(PEM证书、HEY私钥等)、设备敏感信息(IP地址、MAC地址、IPV6地址等)、位置敏感信息(省份、城市、GPS位置、地址等)和通用敏感信息(日期)等敏感信息进行识别和脱敏,具体的脱敏算法及使用场景请参考脱敏算法。示例:假设“rsd-dsc-test”数据库中“dsc_yunxiaoke”表中存储了如下银行员工的信息表:现需对该表进行敏感数据识别并完成脱敏,可选择预置的“银行金融领域模板”的识别规则组,识别出敏感数据并生成识别结果数据报告,再对识别出的敏感数据采用“Hash脱敏”中的SHA256算法进行脱敏处理。第一步:识别敏感数据步骤 1 购买数据安全中心服务后,进入DSC管理控制台。步骤 2 在左侧导航树中,选择“敏感数据识别 > 识别任务”,进入“识别任务”页面。步骤 3 单击“新建任务”,在弹出的“新建任务”对话框中,配置任务基本信息。步骤 4 单击“确定”,返回敏感数据任务列表。步骤 5 任务状态为“识别完成”后,在该任务的操作列,单击“识别结果”,查看数据识别结果。由上图可见,Birthday和Email列被识别为敏感数据风险。步骤 6 单击风险字段,查看风险详情。参考“第二步:数据脱敏”对数据库“rds-dsc-test”中的表“dsc_yunxiaoke”的Birthday和Email列进行脱敏。----结束第二步:数据脱敏DSC支持创建数据库脱敏任务和ES脱敏任务,脱敏方法类似,本节以创建数据库静态脱敏任务为例进行演示,如需了解ES脱敏的相关方法,请参见创建ES脱敏任务。步骤 1 在左侧导航树中,选择“数据脱敏”,进入“数据脱敏 > 数据库脱敏”页面。步骤 2 将“数据库脱敏”设置为,开启数据库脱敏。步骤 3 单击“新建任务”,进行“数据源配置”。如果您想脱敏后生成一张完整的表,此处勾选所有数据类型。 步骤 4 单击“下一步”,进行“脱敏算法配置”。步骤 5 单击“下一步”,进入“脱敏周期”页面,配置脱敏周期。 步骤 6 单击“下一步”,进行“数据目标配置”,配置脱敏后生成的表的存放位置。 步骤 7 单击“完成”,返回到数据库脱敏任务列表,单击,启用脱敏任务,并在任务所在行的“操作”列,单击“立即运行”,执行脱敏任务。当“状态”为“已完成”时,表示脱敏成功。----结束效果验证: 更多关于DSC的功能,戳这里进行了解吧~~。安全无小事,时刻需警惕。2021,华为云普惠云安全,为您的网站、主机、数据提供免费云体检,还有一站式过等保贴心指导,赶紧戳这里,了解详情吧!
-
上回文说道,如何用DAS连接数据库实例。今天,我们就来说说如何通过内网连接。GaussDB提供gsql工具远程连接数据库实例。您需要提前下载gsql工具并在ECS上安装gsql,通过gsql远程连接数据库实例。gsql工具下载请单击此处。前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。已经下载gsql工具。操作步骤 步骤 1 购买ECS,用于安装gsql工具。购买ECS指导请参考购买ECS。 gsql支持的操作系统版本如下:X86:EulerOS V2.5。鲲鹏服务器:EulerOS V2.8。 步骤 2 在购买的弹性云服务器上,上传软件包并配置环境变量。以root用户登录弹性云服务器。创建“/tmp/tools”目录。mkdir /tmp/tools单击此处获取GaussDB软件包并解压。unzip GaussDB_opengauss_client_tools.zip根据申请的弹性云服务器的操作系统架构进入不同目录,获取“GaussDB-Kernel-xxx-EULER-64bit-gsql.tar.gz”,并上传到申请的弹性云服务器“/tmp/tools”路径下。软件包相对位置为安装时所放位置,根据实际情况填写。解压文件。cd /tmp/toolstar -zxvf GaussDB-Kernel-V500R001C00-EULER-64bit-gsql.tar.gz设置环境变量。打开“~/.bashrc”文件。vi ~/.bashrc按下i键进入INSERT模式,在其中输入如下内容后,单击“ESC”退出编辑模式,使用“:wq!”命令保存并退出。export PATH=/tmp/tools/bin:$PATHexport LD_LIBRARY_PATH=/tmp/tools/lib:$LD_LIBRARY_PATH使环境变量配置生效。source ~/.bashrc 步骤 3 判断实例与ECS是否可以通过内网连接。如果ECS和实例在同一区域,同一可用区,说明ECS和实例网络互通,可以通过内网直接远程连接。数据库实例的区域、可用区和VPC查看方法如下。ECS的区域、可用区和VPC查看方法如下: 步骤 4 内网连接数据库实例。查看GaussDB数据库的IP地址。然后在ECS服务器执行如下命令进行连接:gsql -d postgres -h 192.168.0.15 -U root -p 8000 -r192.168.0.15为内网IP,要替换为自己实例的IP。输入数据库root用户密码,成功登录。[root@ecs-a4e7 ~]# gsql -d postgres -h 192.168.0.168 -U root -p 8000 -rPassword for user root: gsql ((GaussDB Kernel V500R001C10 build 23636d1b) compiled at 2020-09-24 22:23:07 commit 905 last mr 1150 )SSL connection (cipher: DHE-RSA-AES128-GCM-SHA256, bits: 128)Type "help" for help. postgres=> 步骤 5 数据库使用。postgres=> \dbs List of tablespaces Name | Owner | Location ------------+----------+---------- pg_default | rdsAdmin | pg_global | rdsAdmin | (2 rows) postgres=>----结束想知道如何通过公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
-
ModelArts为用户提供了多种常见的预置引擎,但是当用户对深度学习引擎、开发库有特殊需求场景的时候,预置AI引擎可能不再满足用户需求。ModelArts底层采用容器技术,您可以自行制作容器镜像上传并在ModelArts上运行。自定义镜像支持自由文本形式的命令行参数和环境变量,灵活性高,便于支持任意计算引擎的作业启动需求。当前ModelArts自定义镜像功能支持以下两种场景:创建训练作业导入模型让我们看看如何在ModelArts中使用自定义镜像创建训练作业和导入模型吧!关联服务介绍使用自定义镜像功能可能涉及以下云服务:容器镜像服务、对象存储服务、弹性云服务器。容器镜像服务:容器镜像服务(Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。ModelArts训练和导入模型使用的自定义镜像需要从SWR服务管理列表获取。您制作的自定义镜像需要上传至SWR服务。对象存储服务:对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。在创建训练作业和导入模型时往往存在数据交互,您需要的云上数据可以存储至OBS服务。弹性云服务器:弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。在制作自定义镜像时,您可以在本地环境或者ECS上完成自定义镜像制作。在您使用自定义镜像功能时,ModelArts可能需要访问您的容器镜像服务SWR、对象存储服务OBS等依赖服务,若没有授权,这些功能将不能正常使用。建议您使用委托授权功能,将依赖服务操作权限委托给ModelArts服务,让ModelArts以您的身份使用依赖服务,代替您进行一些资源操作。详细操作参见使用委托授权。使用自定义镜像创建训练作业端到端样例可参考最佳实践-使用自定义镜像创建训练作业~1.准备工作完成访问授权的配置,详细操作参见使用委托授权。已在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。2.制作自定义镜像,您可以使用ECS或者应用本地已有的主机进行自定义镜像的制作。 在制作镜像用时,需满足ModelArts定义的规范。自定义镜像中不能包含恶意代码。基础镜像中的部分内容不能改变,包括“/bin”、“/sbin”、“/usr”、“/lib(64)”下的所有文件,“/etc”下的部分重要配置文件,以及“$HOME”下的ModelArts小工具。不可以新增属主为“root”且权限包含“setuid”或“setgid”位的文件。自定义镜像大小不能超过5GB。日志文件输出,为保证日志内容可以正常显示,日志信息需要打印到标准输出。 ModelArts还提供基础镜像用于自定义镜像的制作。基础镜像中有一些必要的工具,帮助用户快速实现代码下载、训练日志输出、上传日志文件至OBS等功能。3.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南。4.使用自定义镜像创建训练作业。使用自定义镜像导入模型端到端示例请参考使用自定义镜像导入模型~1.准备工作完成访问授权的配置,详细操作参见使用委托授权。已在OBS服务中创建桶和文件夹,用于存放数据以及相关文件。2.制作自定义镜像 在制作镜像用时,需满足ModelArts定义的规范。自定义镜像中不能包含恶意代码。自定义镜像大小不超过30GB。镜像对外接口 镜像的对外服务接口需要为8080,推理接口需与config.json文件中apis定义的url一致,当镜像启动时可以直接访问。健康检查接口 自定义镜像需要提供健康检查接口供ModelArts调用,在config.json文件中配置,参见模型配置文件编写说明。日志文件输出 为保证日志内容可以正常显示,日志信息需要打印到标准输出。镜像启动入口 如果需要部署批量服务,镜像的启动入口文件需要为“/home/run.sh”,采用CMD设置默认启动路径。镜像依赖组件 如果需要部署批量服务,镜像内需要安装python、jre/jdk、zip等组件包。3.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南。4.选择从容器镜像导入模型,可参考从容器镜像中选择元模型。5.将模型部署为在线服务。
-
什么是云数据库GaussDB云数据库 GaussDB,以下简称GaussDB。GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库,该产品具备企业级复杂事务混合负载能力,同时支持优异的分布式事务,同城跨AZ部署,数据0丢失,支持1000+扩展能力,PB级海量存储等企业级数据库特性。拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳定可靠,扩展性强,性能优越的企业级数据库服务。同时华为开源GaussDB单机主备社区版本,鼓励更多伙伴、开发者共同繁荣中国数据库生态。更多介绍请单击:初识华为云数据库GaussDB。GaussDB支持的连接方式GaussDB提供使用内网、公网和数据管理服务(Data Admin Service,简称DAS)的连接方式。各连接方式的使说明如下,您可以根据需要选择。GaussDB连接方式如下:连接方式IP地址使用场景说明DAS连接无需使用IP地址通过华为云数据管理服务(Data Admin Service,简称DAS)这款可视化的专业数据库管理工具,可获得执行SQL、高级数据库管理、智能化运维等功能,做到易用、安全、智能地管理数据库。GaussDB默认开通DAS连接权限。易用、安全、高级、智能。优先推荐使用DAS连接。内网连接内网IP地址系统默认提供内网IP地址。当应用部署在弹性云服务器上,且该弹性云服务器与GaussDB实例处于同一区域,同一VPC时,建议单独使用内网IP连接弹性云服务器与GaussDB实例。安全性高,可实现GaussDB的较好性能。如果不使用DAS连接,则推荐使用内网连接。公网连接弹性公网IP不能通过内网IP地址访问GaussDB实例时,使用公网访问,建议单独绑定弹性公网IP连接弹性云服务器(或公网主机)与GaussDB实例。降低安全性。为了获得更快的传输速率和更高的安全性,建议您将应用迁移到与您的GaussDB实例在同一子网,使用内网连接。今天,我们先来说说如何通过DAS来连接实例。通过DAS连接前提条件需要已有GaussDB实例,实例购买指导请参考购买实例。操作步骤步骤 1 进入DAS服务。在服务列表,选择数据库中的数据库管理服务DAS。步骤 2 设置DAS连接服务。选择“进入标准版”。点击“新增数据库登录”。在此设置页面,“数据库引擎”选择GaussDB,然后在“数据库来源”中就会出现当前账号下已有的GaussDB数据库实例。选中想要连接的实例。填写登录用户名及密码,单击“测试连接”。测试连接成功后会提示“连接成功”。成功后,可以选择勾选“记住密码”、“定时采集”功能,勾选完成后单击“立即新增”。步骤 3 新增完成,通过单击“登录”可以进入到相应的数据库实例。步骤 4 登录完成后,即可在DAS中完成数据库操作。----结束想知道如何通过内网及公网连接的小伙伴们,敬请期待下期哦~~~更多详细内容,赶紧戳这里,了解详情吧~~
-
关键词:华为云 数据安全中心 数据 全生命周期 可视化管理随着信息技术日新月异,科学技术磅礴发展,数据已经具有和水、电等日常所需物资同等重要的战略地位,是企业的核心资产和赖以生存的命脉。2020年3月,国标GB/T 37988-2019《信息安全技术 数据安全能力成熟度模型》明确指出数据安全的管理需要基于以数据为中心的管理思路,从组织机构业务范围内的数据生命周期的角度出发,结合组织机构各类数据业务发展后所体现出来的安全需求,开展数据安全保障。随着国家大数据战略的不断推动和深化,做好数据安全治理势在必行,同时也存在一些挑战。挑战一:我们很难在繁多的数据安全能力中去构建适合自己的安全体系,业界也缺乏具有建设指导意义的数据安全产品。挑战二:云上的数据安全能力一直是分散在各个服务之中,例如VPN、安全组、SSL证书以及诸如ECS、RDS、OBS等集成的加密能力,导致数据安全能力不集中。因此,数据安全中心致力于汇总分散的数据安全能力,从租户角度出发提供统一视角,构建数据安全全生命周期,实现数据的统一管理。跟随小课的脚步,一起学习如何通过DSC服务实现数据的全方位管理吧~~添加资产到DSC,实现数据全生命周期管理使用DSC前,您需要购买DSC,戳这里~~步骤 1 购买数据安全中心后,进入DSC管理控制台。步骤 2 完成云资产委托授权。在左侧导航树中选择“资产列表”,单击页面右上角的“云资产委托授权”。授权访问“OBS”、“数据库”、“大数据”、“数据安全总览”。步骤 3 添加资产。在OBS资产列表右上角,单击“批量添加”,添加OBS、数据库和大数据资产。步骤 4 在左侧导航树中选择“数据安全总览”,进入数据安全总览页面,监控数据全生命周期各个阶段的实时状态。 ----结束更多关于DSC的功能,戳这里,进行了解吧~~。安全无小事,时刻需警惕。2021,华为云普惠云安全,为您的网站、主机、数据提供免费云体检,还有一站式过等保贴心指导,赶紧戳这里,了解详情吧!
-
还在让本地的VMware虚拟机数据“裸奔”?小心无形的**之手已经悄然伸向你的数据。按照国内《信息安全等级保护要求》,国际《塞班斯法案》等行业法规要求,上市公司/政府部门/金融机构都必须构建异地灾备系统。而企业自建灾备中心的方案,需要自建或者租赁机房/机柜,涉及软硬件采购、安装、调测,初始投资大,建设周期长。相比传统方案,可以选择云作为异地灾备站点之一,利用云上的弹性资源,按需付费,初始投资减少70%以上,建设周期缩短50%。华为云云备份CBR(Cloud Backup and Recovery)支持VMware备份上云,可为用户数据中心的VMware虚拟化环境,提供简单易用、整机粒度的备份功能,并将备份同步至云上。当发生故障、误操作等导致数据丢失时,可以利用云备份快速恢复数据,减少业务中断时间。很多人认为备份上云很难,其实不然。今天小编就带大家来大致了解下如何使用云备份服务完成VMware备份上云。温馨提示:还没有华为云账户来体验本节课程的操作吗?戳这里,免费注册华为云账户!步骤一:安装eBackup镜像模板云备份通过eBackup,就可以实现VMware备份上云。所以需要先在控制台获取eBackup镜像模板,并下载至本地完成安装。登录管理控制台。选择“存储 > 云备份 > 混合云备份 > VMware备份”。选择“镜像下载和安装”页签。在“eBackup镜像模板”一栏下,单击“点击下载”,完成eBackup镜像模板下载。图1 下载镜像模板在安装和配置eBackup备份软件前,还需要了解软件对网络连接的要求及建议,以便能够顺利的完成网络规划。戳这里,能够迅速规划软件和业务所需的网络平面。图1 规划网络完成网络平面规划后,可以开始进行安装和配置eBackup。配置完成后,就可以开始VMware备份上云之旅啦~步骤二:建立云与本地的通信VMware备份上云时,备份需要存放在哪儿呢?首先需要做的,就是在云上为VMware备份创建一个存放空间啦!登录管理控制台。选择“存储 > 云备份 > 混合云备份 > VMware备份”。完成购买云备份存储库。完成购买后,需要同时记下华为云账号的AK和SK、云备份存储库所在的区域ID(如:北京四为cn-north-4)、所在区域的项目ID,以及云备份存储库的ID。图1 购买云备份存储库登录eBackup。在导航栏上选择“ > VMware”。单击“受保护环境”区域的图标。设置VMware受保护环境基本信息。完成eBackup和VMware数据中心的通信。图1 添加受保护环境在导航栏上选择“ > 存储单元”。单击“创建”。将步骤一收集到的信息填入到对话框中。单击“确定”。图1 创建存储单元完成eBackup与华为云之间的通信。步骤三:创建VMware备份并上云创建VMware备份前,也需要先在eBackup中创建用于存放备份的空间,再设置保护集和策略等用于创建VMware备份。大致流程如下:登录eBackup。在导航栏上找到 。依次完成创建存储池、创建存储库。图1 创建存储库在导航栏上找到 。依次完成创建保护集、创建备份策略、创建备份计划。图1 创建备份计划备份完成后,备份会自动同步至云上的混合云备份存储库中。可以前往“存储 > 云备份 > 混合云备份 > VMware备份”查看备份上云的情况。图1 查看备份上云情况此时就可以使用备份恢复至云上的服务器中,在云上快速部署业务啦~欲知如何使用备份恢复数据,且听下回分解~
-
磨刀不误砍柴工,在使用CDN之前,我们先来了解下与CDN相关的基本概念吧!加速域名加速域名就是您需要使用CDN加速的域名,即终端用户访问的域名。域名是便于记忆和沟通的一组服务器的地址,可以是网站,电子邮件,FTP等。Q:加速域名可以和源站域名一样吗?A:不可以,用户访问加速域名时,如果CDN节点上没有缓存对应的内容,CDN节点会回到源站获取,然后再返回给用户。如果源站域名与加速域名一致,访问请求会反复转发到CDN节点,导致CDN节点无法回源拉取请求内容,访问失败。Q:什么样的域名可以作为加速域名?A: 加速范围包含中国大陆的加速域名都需要在工信部备案,接入CDN加速的域名还需要通过内容审核,了解需要审核哪些内容请戳这里。源站源站指您的业务服务器,即被加速分发数据的来源。源站类型可以是源站域名、源站IP、OBS桶域名。Q:我的业务服务器不在国内,可以使用CDN加速吗?A:CDN加速跟您的源站服务器位置无关,无论你的服务器在中国大陆境内或者境外,都可以使用CDN加速。加速范围加速范围决定了哪些地区的用户可以使用CDN加速,华为云CDN有三种加速范围可供选择:中国大陆、中国大陆境外、全球。Q:加速域名只开通了中国大陆加速,会影响中国大陆境外用户访问域名吗?A:开通CDN后,不会影响未加速地区的访问。例如:您的源站在中国大陆,且您开通的CDN加速服务范围也在中国大陆。当中国大陆用户访问您的加速域名时会就近访问到中国大陆节点上。当中国大陆境外用户访问您的加速域名时,因您未开通中国大陆境外加速服务,中国大陆境外用户也会访问到中国大陆节点上,受跨境网络影响,加速效果不太明显,甚至无法访问。敲黑板!加速范围与源站的位置无关,无论你的源站哪里,都是可以灵活选择加速范围的!DNSDNS(Domain Name System),即域名解析服务,作用是把域名翻译成IP地址。在TCP/IP网络中域名与IP地址一一对应,域名便于记忆,但网络中的服务器间只能通过IP地址相互识别,域名和IP地址之间的转换称为域名解析,域名解析需要通过专门的域名解析服务器来完成,DNS就是进行域名解析的服务器。有了DNS服务,用户只通过域名就可以访问对应的服务器,获取想要的内容。例如:您访问xxx.abc.com会通过DNS转换成220.xxx.xxx.xxx(资源所在服务器的IP地址)。CNAME记录CNAME记录是指域名解析中的别名记录(Canonical Name),允许将多个域名映射到同一个域名。例如:您有一台服务器存放了一些文件,可以通过file.example.com访问该资源,但是希望通过另一个域名data.example.com也能访问。那么您可以在DNS解析服务商处新增一条CNAME记录,将data.example.com指向file.example.com。添加CNAME记录后,所有访问data.example.com的请求就会指向file.example.com,获得相同内容。CNAME域名您在CDN管理控制台添加加速域名后,系统会为加速域名分配一个对应的“CNAME域名”(域名形式为:*.c.cdnhwc1.com)。您需要在域名服务商处,配置一条CNAME记录,将加速域名指向这个“CNAME域名”,记录生效后,域名解析的工作就正式转向CDN服务,该域名所有的请求都将转向CDN节点,达到加速效果。Tips:如何为CDN加速域名添加CNAME记录?请单击这里。边缘节点边缘节点也称CDN节点、Cache节点等,指距离最终用户接入具有较少的中间环节的网络节点,提高终端用户访问的响应能力和连接速度。边缘节点的作用就是缓存用户访问的内容。Q:华为云CDN有多少节点?A:华为云CDN在中国大陆境内有2000+加速节点,覆盖所有省份、自治区、直辖市,在中国大陆境外有500+加速节点,节点分布图请戳这里。回源CDN节点未缓存资源或者缓存资源已到期时,节点会回源站获取资源,返回给客户端。例如:终端用户访问某个加速域名,如果CDN节点未缓存用户访问的资源,CDN会向源站发出请求,得到该资源后返回给用户并缓存到节点。回源HOST在CDN侧配置源站的目的是为了在回源时得到源站的IP地址,而回源HOST是为了确定回源时需要访问到该IP地址的哪个站点。例1:源站为域名时,源站为www.xxx.com,回源HOST为www.abc.com,实际回源的是www.xxx.com解析到的IP站点www.abc.com。例2:源站为IP地址时,源站为1.1.1.1,回源HOST为www.abc.com,实际回源的是1.1.1.1对应主机上的站点www.abc.com。SSL/TLSSSL(Secure Sockets Layer,安全通讯协议),是一个构架于TCP之上的安全套接层,是为网络通信提供安全及数据完整性的一种安全协议。标准化之后的SSL名称为TLS(Transport Layer Security,传输层安全协议)。URL参数根据业务需要判断是否启用该项配置,对用户请求URL中“?”之后的参数进行过滤。不启用:每一个URL请求都会缓存一份文件在CDN,不同的URL对应不同的缓存。启用:只缓存一份文件在CDN节点,后续每个请求都默认命中缓存,返回同一份文件。示例:终端用户首次访问URL“http://www.example.com/1.txt”时,CDN无缓存,回源拉取资源,第二次访问“http://www.example.com/1.txt?test1”时:如果开通了“URL参数”功能,不匹配“?”之后的参数,直接命中缓存,返回“http://www.example.com/1.txt”对应的内容;如果没有开通“URL参数”功能,需要匹配“?”之后的参数,要重新回源拉取“http://www.example.com/1.txt?test1”对应的资源,返回给用户并缓存到CDN节点。Q:什么情况下可以开通URL参数呢?A:如果您的URL中“?”之后的参数代表相同的内容,可以开通此功能,提高缓存命中率。 如果您的URL中“?”之后的参数代表不相同的内容,例如:一个设计的不同版本,建议不要开启此功能。
-
关键词:华为云 SSL证书 推送证书为了数据传输的安全,WAF/CDN/ELB服务在以下场景需要使用证书:当您接入防护域名至WAF时,若客户端与WAF之间的通信采用HTTPS协议,则需要配置证书,实现客户端与服务器之间的加密传输。当您需要实现网站数据HTTPS安全加速,则需要通过配置加速域名的HTTPS证书,并将其部署在全网CDN节点,实现HTTPS安全加速。当您需要支持HTTPS数据传输加密认证,通过ELB服务创建HTTPS协议监听的时候需绑定证书, 用于SSL握手协商。问题来了,如何在华为云WAF/CDN/ELB服务中轻松配置证书呢?别着急,华为云SSL证书管理来帮您忙,戳这里,申购SSL证书吧~~申请证书时,“证书请求文件”选择“系统生成CSR”,否则将导致不能推送。自有证书上传至SCM平台进行管理后,也支持一键推送到华为云ELB、WAF、CDN服务哟。获得已签发的SSL证书后,不妨跟随小课的脚步,一起学习如何将证书一键推送到华为云ELB、WAF、CDN服务吧。以推送证书到WAF为例推送证书到云产品步骤 1 开启SSL证书管理服务后,进入SCM管理控制台。步骤 2 在需要推送的证书所在行的“操作”列,单击“推送”。步骤 3 选择证书需要推送至云产品的产品名称及推送的区域,并在页面右下角单击"推送"。步骤 4 确认是否需要立即前往目标服务进行证书配置操作。是,单击“立即前往配置”。系统将进入目标服务管理页面,进行证书配置操作。否,单击“继续推送”。系统将回到证书推送页面或SSL证书管理界面。推送成功后,证书会显示在WAF/CDN/ELB证书的下拉框中,需要时可直接选择。----结束验证证书是否推送成功步骤 1 进入WAF管理控制台。步骤 2 在左侧导航栏中,选择“证书管理”,查看已推送的证书。步骤 3 在推送证书所在行的“操作”列,单击“查看”,查看证书的详细信息。----结束您也可以将已签发的证书部署到服务器上使用,戳这里,进行了解吧~~更多关于SCM的功能,请前往华为云SSL证书管理服务进行了解。
-
云小课手把手教您快速上手GaussDB(DWS),以下是已推出的云小课,欢迎各位收藏哦~第1期:如何通过Data Studio连接数据仓库?第2期:导入DWS数据量太大?试试GDS并行导入第3期:车海茫茫中寻找你--GaussDB(DWS)海量数据分析第4期:GaussDB(DWS)轻松导入MRS-Hive数据源第5期:GaussDB(DWS)数据落盘安全吗?来直面三大灵魂拷问第6期:大数据时代的隐私利器-GaussDB(DWS)数据脱敏第7期:不可不知的调优技巧-GaussDB(DWS)表结构优化第8期:打造企业数据“高内聚,低耦合”--试试GaussDB(DWS)逻辑集群,实现数据物理隔离第9期:运筹帷幄-GaussDB(DWS)教你分析阻塞SQL的几个妙招第10期:GaussDB(DWS)数据存储尽在掌控,冷热数据切换自如第11期:GaussDB(DWS)如何使用函数实现数据列加解密第12期:GaussDB(DWS)资源管理介绍第13期:快使用JDBC连接GaussDB(DWS),来一起玩转数据库~不要忘了收藏我哦,欢迎持续关注本贴,内容持续更新中!
-
数据反映了真实世界的状况,没有高质量的数据,最好的算法也无济于事。创建一个更好的数据集对AI开发有至关重要的意义,但是一个高质量的数据集需要开发者投入巨大的时间与精力。还在为散乱无章的数据发愁吗?还在为训练没有更多数据发愁吗?还在为处理数据投入大量时间发愁吗?ModelArts数据预处理功能集成了大量数据处理算法,为您提供一个更好的数据集。初识ModelArts数据预处理当数据采集和接入之后,数据一般是不能直接满足训练要求的。ModelArts平台提供的数据预处理功能帮助您从海量的数据中抽取或者生成有价值、有意义的数据,为您后续的数据标注、模型训练保驾护航。ModelArts为您提供以下四种类型的数据预处理: 数据清洗数据清洗是指对数据进行去燥、纠错或补全的过程。数据清洗是在数据校验的基础上,对数据进行一致性检查,处理一些无效值。例如在深度学习领域,可以根据用户输入的正样本和负样本,对数据进行清洗,保留用户想要的类别,去除用户不想要的类别。图中,花朵数据集经过数据清理后去除了样本中非花朵的图片。数据选择数据选择一般是指从全量数据中选择数据子集的过程,可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题;在一批输入旧模型的推理数据中,通过内置规则的数据选择可以进一步提升旧模型精度。图中,花朵数据集经过数据选择后去除了相似和重复图片。数据校验数据校验是指对数据可用性的基本判断和验证的过程。ModelArts支持对图片和标注进行可用性校验:♦图片类数据校验异常情况处理方案图片本身损坏无法解码过滤掉不能解码的图片图片通道可能是1通道、2通道,不是常用的3通道转换图片成RGB三通道 图片格式不在ModelArts支持的格式范围内转换图片格式至jpg格式图片后缀与实际格式不符,但格式在MA支持的格式内后缀转换成与实际格式一致图片后缀与实际格式不符,且格式不在MA支持的格式内转换图片格式至jpg格式图片分辨率过大宽、高按指定大小同比例进行裁剪♦标注类文件数据校验异常情况处理方案xml结构残缺,无法解析过滤xml文件xml中没有标注“object”过滤xml文件xml中没有矩形框“bndbox”过滤xml文件某些标注“object”中没有矩形框“bndbox”过滤标注“object”图片经过裁剪后,xml文件中宽高不符修改错误宽高参数为图片真实宽高xml中没有“width”、“height”字段根据图片真实宽高补全xml中的“width”、“height”字段和值图片经过裁剪后,xml中矩形框“bndbox”大小不符按图片裁剪比例缩放xml文件中“bnxbox”值xml中矩形框“bndbox”宽或高值过小,显示为一条线矩形框宽或高差值小于2,移除当前“object”xml中矩形框“bndbox”最小值大于最大值移除当前“object”矩形框“bndbox”超出图片边界,且超出部分占框面积50%以上移除当前“object”矩形框“bndbox”超出图片边界,但超出部分小于框面积50%矩形框“bndbox”拉回到图片边界 数据增强数据增强用于训练数据集不足或需要仿真的场景。他通过数据扩增、数据生成方式对已有的数据集完成指定的变换操作,实现增加数据量的目的。ModelArts提供以下算子扩增您的数据集:算子算子说明Rotate旋转Blur模糊化处理LightArithmetic亮度增强Saturation色度饱和度增强Grayscale图片灰度化LightContrast亮度对比度增强HistogramEqual直方图均衡化Sharpen图像锐化Flip翻转MotionBlur运动模糊Resize调整图片大小Padding图片填充,在边缘添加黑色的边Crop图片裁剪,随机裁剪图片的一部分作为新的图片Weather添加天气,模拟天气效果CutOut随机擦除,用于模拟物体被障碍物遮挡Translate图片平移Scale图片缩放Shear图片错切AddNoise添加噪声 图形化界面实现数据预处理ModelArts为用户提供简单的图形化界面,您只需要动动鼠标,就能完成指定的数据预处理任务。上传您的数据集至OBS。OBS是MordelArts存储数据的仓库。上传点这里。创建数据预处理任务,您需要填写下图中的参数,详细介绍点这里。等待几分钟后任务完成,您可以查看日志和结果展示。更多ModelArts数据预处理介绍数据预处理简介数据增强:使用数据增强,解决数据不足和数据集不均衡的情况数据校验:给你的数据做个体检吧数据选择:使用数据选择,去除重复数据数据清洗:数据清洗去除您的数据集中无关类别
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签