背景信息大数据时代的到来，大数据、云计算和人工智能等新技术应用不断深化，为数据的深度挖掘及分析提供了强有力的支撑，大数据中蕴含的巨大价值被逐步挖掘出来。然而，一系列信息泄露事件的曝光，使得数据安全越来越受到广泛的关注。各国各地区逐步建立健全和完善数据安全与隐私保护相关法律法规，提供用户隐私保护的法律保障。如何加强技术层面的数据安全和隐私保护，是对数据仓库产品提出的要求，也是数据安全建设最有效的办法。GaussDB(DWS)产品8.1.1版本发布数据脱敏特性，支持指定用户范围内列级敏感数据的脱敏功能，具有灵活、高效、透明、友好等优点。使得敏感及隐私信息不被泄露，提高了对敏感及私密数据的保护，极大地增强了产品的数据安全能力。什么是数据脱敏数据脱敏(Data Masking)，即屏蔽敏感数据，对某些敏感信息（比如，身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、银行账号、密码类等等 ）通过脱敏规则进行数据的变形，实现隐私数据的可靠保护。业界常见的脱敏规则有，替换、重排、加密、截断、掩码，用户也可以根据期望的脱敏算法自定义脱敏规则。良好的数据脱敏实施，需要遵循两个原则：第一，尽可能地为脱敏后的应用，保留脱敏前的有意义信息；第二，最大程度地防止黑客进行破解。数据脱敏分为静态数据脱敏和动态数据脱敏。静态数据脱敏，是数据的“搬移并仿真替换”，是将数据抽取进行脱敏处理后，下发给下游环节，随意取用和读写的，脱敏后数据与生产环境相隔离，满足业务需求的同时保障生产数据库的安全。动态数据脱敏，在访问敏感数据的同时实时进行脱敏处理，可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案，从而确保返回的数据可用而安全。下图为一个简单的静态脱敏和动态脱敏示例，可以看出两者的不同。GaussDB (DWS)的数据脱敏功能，摒弃业务应用层脱敏依赖性高、代价大等痛点，将数据脱敏内化为数据库产品自身的安全能力，提供了一套完整、安全、灵活、透明、友好的数据脱敏解决方案，属于动态数据脱敏。用户识别敏感字段后，基于目标字段，绑定内置脱敏函数，即可创建脱敏策略。脱敏策略(Redaction Policy)与表对象是一一对应的。一个脱敏策略包含表对象、生效条件、脱敏列-脱敏函数对三个关键要素，是该表对象上所有脱敏列的集合，不同字段可以根据数据特征采用不同的脱敏函数。当且仅当生效条件为真时，查询语句才会触发敏感数据的脱敏，而脱敏过程是内置在SQL引擎内部实现的，对生成环境用户是透明不可见的。数据脱敏如何使用第一步：创建脱敏策略需确定受限制用户角色。动态数据脱敏，是在查询语句执行过程中，根据生效条件是否满足，实现实时的脱敏处理。生效条件，通常是针对当前用户角色的判断。敏感数据的可见范围，即是针对不同用户预设的。系统管理员，具有最高权限，任何时刻对任何表的任何字段都可见。第二步：识别和梳理具体业务场景的敏感字段。敏感信息依赖于实际业务场景和安全维度，以自然人为例，用户个体的敏感字段包括：姓名、身份证号、手机号、邮箱地址等等；在银行系统，作为客户，可能还涉及银行卡号、过期时间、支付密码等等；在公司系统，作为员工，可能还涉及薪资、教育背景等；在医疗系统，作为患者，可能还涉及就诊信息等等。第三步：确定脱敏列需要绑定的脱敏函数。产品内置一系列常见的脱敏函数接口，可以针对不同数据类型和数据特征，指定参数，从而达到不一样的脱敏效果。脱敏函数可采用如下三种内置接口，同时支持自定义脱敏函数。三种内置脱敏函数能够涵盖大部分场景的脱敏效果，不推荐使用自定义脱敏函数。MASK_NONE：不作脱敏处理，仅内部测试用。MASK_FULL：全脱敏成固定值。MASK_PARTIAL：使用指定的脱敏字符对脱敏范围内的内容做部分脱敏。不同脱敏列可以采用不同的脱敏函数。比如，手机号通常显示后四位尾号，前面用"*"替换；金额统一显示为固定值0，等等。数据脱敏使用示例以某公司员工表emp，表的属主用户alice以及用户matu、july为例，简单介绍数据脱敏的使用过程。其中，表emp包含员工的姓名、手机号、邮箱、发薪卡号、薪资等隐私数据，用户alice是人力资源经理，用户matu和july是普通职员。假设表、用户及用户对表emp的查看权限均已就绪。创建脱敏策略mask_emp，仅允许alice查看员工所有信息，matu和july对发薪卡号、薪资均不可见。字段card_no是数值类型，采用MASK_FULL全脱敏成固定值0；字段card_string是字符类型，采用MASK_PARTIAL按指定的输入输出格式对原始数据作部分脱敏；字段salary是数值类型，采用数字9部分脱敏倒数第二位前的所有数位值。postgres=# CREATE REDACTION POLICY mask_emp ON emp WHEN (current_user != 'alice') ADD COLUMN card_no WITH mask_full(card_no), ADD COLUMN card_string WITH mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV','VVVV-VVVV-VVVV-VVVV','#',1,12), ADD COLUMN salary WITH mask_partial(salary, '9', 1, length(salary) - 2);切换到matu和july，查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)由于工作调整，matu进入人力资源部参与公司招聘事宜，也对员工所有信息可见，修改策略生效条件。postgres=> ALTER REDACTION POLICY mask_emp ON emp WHEN(current_user NOT IN ('alice', 'matu'));切换到用户matu和july，重新查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+------------------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 1234123412341234 | 1234-1234-1234-1234 | smithWu@163.com | 10000.0000 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 3456345634563456 | 3456-3456-3456-3456 | 66allen_mm@qq.com | 9999.9900 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)员工信息phone_no、email和birthday也是隐私数据，更新脱敏策略mask_emp，新增三个脱敏列。postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN phone_no WITH mask_partial(phone_no, '*', 4); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN email WITH mask_partial(email, '*', 1, position('@' in email)); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN birthday WITH mask_full(birthday);切换到用户july，查看员工表emp。postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 134******** | 0 | ####-####-####-1234 | ********163.com | 99999.9990 | 1970-01-01 00:00:00 2 | bob | 182******** | 0 | ####-####-####-3456 | ***********qq.com | 9999.9990 | 1970-01-01 00:00:00 3 | cici | 155******** | | | ************sina.com | | 1970-01-01 00:00:00 (3 rows)考虑用户交互的友好性，GaussDB (DWS) 提供系统视图redaction_policies和redaction_columns，方便用户直接查看更多脱敏信息。postgres=> SELECT * FROM redaction_policies; object_schema | object_owner | object_name | policy_name | expression | enable | policy_description ---------------+--------------+-------------+-------------+-----------------------------------+--------+-------------------- public | alice | emp | mask_emp | ("current_user"() = 'july'::name) | t | (1 row) postgres=> SELECT object_name, column_name, function_info FROM redaction_columns; object_name | column_name | function_info -------------+-------------+------------------------------------------------------------------------------------------------------- emp | card_no | mask_full(card_no) emp | card_string | mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV'::text, 'VVVV-VVVV-VVVV-VVVV'::text, '#'::text, 1, 12) emp | email | mask_partial(email, '*'::text, 1, "position"(email, '@'::text)) emp | salary | mask_partial(salary, '9'::text, 1, (length((salary)::text) - 2)) emp | birthday | mask_full(birthday) emp | phone_no | mask_partial(phone_no, '*'::text, 4) (6 rows)突然某一天，公司内部可共享员工信息时，直接删除表emp的脱敏策略mask_emp即可。postgres=> DROP REDACTION POLICY mask_emp ON emp;GaussDB(DWS)数据脱敏优势一套简单、易用的数据脱敏策略语法。一系列可覆盖常见隐私数据脱敏效果的、灵活配置的内置脱敏函数。一个完备、便捷的脱敏策略应用方案，使得原始语句在执行过程中可以实时、透明、高效地实现脱敏。GaussDB(DWS)充分满足客户业务场景的数据脱敏诉求，支持常见隐私数据的脱敏效果，实现敏感数据的可靠保护。转自https://bbs.huaweicloud.com/blogs/282004

​随着互联网行业的快速发展，大数据被认为将是IT产业中最热门、最具发展性的领域。无论是金融、制造、零售业还是科技公司都拥有了大量的数据，且呈几何级增长，尤其是对于电子商务企业来说，更大的潜在机会隐藏于其中，这些数据中包含了客户的兴趣爱好、消费习惯等，通过一定的技术手段可以对海量数据进行提取、分析和挖掘，让企业更加了解客户诉求，并为其提供个性化的商品和服务。 与大数据相关的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，要想大数据被更好地认识和使用，从中提炼有价值的情报作为企业的数据资产，就需要进行大数据分析。因此大数据分析已经成为各行各业人员必备的技能之一。  华为云DLI，100％兼容开源生态的Serverless多模计算服务，会SQL就会大数据分析。 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析，挖掘和探索数据价值。 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。如游戏运营数据分析、车辆日常指标数据的采集和分析，电商实时业务数据分析等场景。 数据湖治理中心DGC，一站式开发运营平台 数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台，30+异构数据源、全拖拽开发、多维实时搜索、0代码API开发，开发效率3倍提升，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。   想学大数据分析？   快来参与华为云大数据分析7天训练 活动时间： 招募期  7月15日—7月28日 训练期   7月29日—8月6日 毕业期   8月7日—8月13日 面向对象： 大数据工程师、分析师、学生，以及对大数据分析感兴趣的朋友。 本次训练营课程全程分为7个阶段，华为云大数据产品专家亲授，电商行业场景实战演练，带来沉浸式学习体验。 参加训练营你将收获什么？1、0元领取大数据产品1个月套餐包，立省千元我们为您提供免费的套餐包以及课程代金券，用于满足实践诉求。2、丰厚的礼品，奖励爱学习的你对于能够坚持打卡学习的用户，我们提供了华为手环4e、无线鼠标、酷睿冰尊笔记本散热器等礼品。3、项目实践+产品专家亲授，带来沉浸式学习体验 课程实践基于真实业务场景，课程学习不再停留于理论知识；大数据产品专家群内指导，问题答疑。 心动不如行动，0基础也能轻松入门 7天大数据分析实战训练营 我们在训练营等你！

背景信息大数据时代的到来，大数据、云计算和人工智能等新技术应用不断深化，为数据的深度挖掘及分析提供了强有力的支撑，大数据中蕴含的巨大价值被逐步挖掘出来。然而，一系列信息泄露事件的曝光，使得数据安全越来越受到广泛的关注。各国各地区逐步建立健全和完善数据安全与隐私保护相关法律法规，提供用户隐私保护的法律保障。如何加强技术层面的数据安全和隐私保护，是对数据仓库产品提出的要求，也是数据安全建设最有效的办法。GaussDB(DWS)产品8.1.1版本发布数据脱敏特性，支持指定用户范围内列级敏感数据的脱敏功能，具有灵活、高效、透明、友好等优点。使得敏感及隐私信息不被泄露，提高了对敏感及私密数据的保护，极大地增强了产品的数据安全能力。什么是数据脱敏数据脱敏(Data Masking)，即屏蔽敏感数据，对某些敏感信息（比如，身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、银行账号、密码类等等 ）通过脱敏规则进行数据的变形，实现隐私数据的可靠保护。业界常见的脱敏规则有，替换、重排、加密、截断、掩码，用户也可以根据期望的脱敏算法自定义脱敏规则。良好的数据脱敏实施，需要遵循两个原则：第一，尽可能地为脱敏后的应用，保留脱敏前的有意义信息；第二，最大程度地防止黑客进行破解。数据脱敏分为静态数据脱敏和动态数据脱敏。静态数据脱敏，是数据的“搬移并仿真替换”，是将数据抽取进行脱敏处理后，下发给下游环节，随意取用和读写的，脱敏后数据与生产环境相隔离，满足业务需求的同时保障生产数据库的安全。动态数据脱敏，在访问敏感数据的同时实时进行脱敏处理，可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案，从而确保返回的数据可用而安全。下图为一个简单的静态脱敏和动态脱敏示例，可以看出两者的不同。GaussDB (DWS)的数据脱敏功能，摒弃业务应用层脱敏依赖性高、代价大等痛点，将数据脱敏内化为数据库产品自身的安全能力，提供了一套完整、安全、灵活、透明、友好的数据脱敏解决方案，属于动态数据脱敏。用户识别敏感字段后，基于目标字段，绑定内置脱敏函数，即可创建脱敏策略。脱敏策略(Redaction Policy)与表对象是一一对应的。一个脱敏策略包含表对象、生效条件、脱敏列-脱敏函数对三个关键要素，是该表对象上所有脱敏列的集合，不同字段可以根据数据特征采用不同的脱敏函数。当且仅当生效条件为真时，查询语句才会触发敏感数据的脱敏，而脱敏过程是内置在SQL引擎内部实现的，对生成环境用户是透明不可见的。数据脱敏如何使用第一步：创建脱敏策略需确定受限制用户角色。动态数据脱敏，是在查询语句执行过程中，根据生效条件是否满足，实现实时的脱敏处理。生效条件，通常是针对当前用户角色的判断。敏感数据的可见范围，即是针对不同用户预设的。系统管理员，具有最高权限，任何时刻对任何表的任何字段都可见。第二步：识别和梳理具体业务场景的敏感字段。敏感信息依赖于实际业务场景和安全维度，以自然人为例，用户个体的敏感字段包括：姓名、身份证号、手机号、邮箱地址等等；在银行系统，作为客户，可能还涉及银行卡号、过期时间、支付密码等等；在公司系统，作为员工，可能还涉及薪资、教育背景等；在医疗系统，作为患者，可能还涉及就诊信息等等。第三步：确定脱敏列需要绑定的脱敏函数。产品内置一系列常见的脱敏函数接口，可以针对不同数据类型和数据特征，指定参数，从而达到不一样的脱敏效果。脱敏函数可采用如下三种内置接口，同时支持自定义脱敏函数。三种内置脱敏函数能够涵盖大部分场景的脱敏效果，不推荐使用自定义脱敏函数。MASK_NONE：不作脱敏处理，仅内部测试用。MASK_FULL：全脱敏成固定值。MASK_PARTIAL：使用指定的脱敏字符对脱敏范围内的内容做部分脱敏。不同脱敏列可以采用不同的脱敏函数。比如，手机号通常显示后四位尾号，前面用"*"替换；金额统一显示为固定值0，等等。数据脱敏使用示例以某公司员工表emp，表的属主用户alice以及用户matu、july为例，简单介绍数据脱敏的使用过程。其中，表emp包含员工的姓名、手机号、邮箱、发薪卡号、薪资等隐私数据，用户alice是人力资源经理，用户matu和july是普通职员。假设表、用户及用户对表emp的查看权限均已就绪。创建脱敏策略mask_emp，仅允许alice查看员工所有信息，matu和july对发薪卡号、薪资均不可见。字段card_no是数值类型，采用MASK_FULL全脱敏成固定值0；字段card_string是字符类型，采用MASK_PARTIAL按指定的输入输出格式对原始数据作部分脱敏；字段salary是数值类型，采用数字9部分脱敏倒数第二位前的所有数位值。postgres=# CREATE REDACTION POLICY mask_emp ON emp WHEN (current_user != 'alice') ADD COLUMN card_no WITH mask_full(card_no), ADD COLUMN card_string WITH mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV','VVVV-VVVV-VVVV-VVVV','#',1,12), ADD COLUMN salary WITH mask_partial(salary, '9', 1, length(salary) - 2);切换到matu和july，查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)由于工作调整，matu进入人力资源部参与公司招聘事宜，也对员工所有信息可见，修改策略生效条件。postgres=> ALTER REDACTION POLICY mask_emp ON emp WHEN(current_user NOT IN ('alice', 'matu'));切换到用户matu和july，重新查看员工表emp。postgres=> SET ROLE matu PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+------------------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 1234123412341234 | 1234-1234-1234-1234 | smithWu@163.com | 10000.0000 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 3456345634563456 | 3456-3456-3456-3456 | 66allen_mm@qq.com | 9999.9900 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows) postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 13420002340 | 0 | ####-####-####-1234 | smithWu@163.com | 99999.9990 | 1999-10-02 00:00:00 2 | bob | 18299023211 | 0 | ####-####-####-3456 | 66allen_mm@qq.com | 9999.9990 | 1989-12-12 00:00:00 3 | cici | 15512231233 | | | jonesishere@sina.com | | 1992-11-06 00:00:00 (3 rows)员工信息phone_no、email和birthday也是隐私数据，更新脱敏策略mask_emp，新增三个脱敏列。postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN phone_no WITH mask_partial(phone_no, '*', 4); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN email WITH mask_partial(email, '*', 1, position('@' in email)); postgres=> ALTER REDACTION POLICY mask_emp ON emp ADD COLUMN birthday WITH mask_full(birthday);切换到用户july，查看员工表emp。postgres=> SET ROLE july PASSWORD 'Gauss@123'; postgres=> SELECT * FROM emp; id | name | phone_no | card_no | card_string | email | salary | birthday ----+------+-------------+---------+---------------------+----------------------+------------+--------------------- 1 | anny | 134******** | 0 | ####-####-####-1234 | ********163.com | 99999.9990 | 1970-01-01 00:00:00 2 | bob | 182******** | 0 | ####-####-####-3456 | ***********qq.com | 9999.9990 | 1970-01-01 00:00:00 3 | cici | 155******** | | | ************sina.com | | 1970-01-01 00:00:00 (3 rows)考虑用户交互的友好性，GaussDB (DWS) 提供系统视图redaction_policies和redaction_columns，方便用户直接查看更多脱敏信息。postgres=> SELECT * FROM redaction_policies; object_schema | object_owner | object_name | policy_name | expression | enable | policy_description ---------------+--------------+-------------+-------------+-----------------------------------+--------+-------------------- public | alice | emp | mask_emp | ("current_user"() = 'july'::name) | t | (1 row) postgres=> SELECT object_name, column_name, function_info FROM redaction_columns; object_name | column_name | function_info -------------+-------------+------------------------------------------------------------------------------------------------------- emp | card_no | mask_full(card_no) emp | card_string | mask_partial(card_string, 'VVVVFVVVVFVVVVFVVVV'::text, 'VVVV-VVVV-VVVV-VVVV'::text, '#'::text, 1, 12) emp | email | mask_partial(email, '*'::text, 1, "position"(email, '@'::text)) emp | salary | mask_partial(salary, '9'::text, 1, (length((salary)::text) - 2)) emp | birthday | mask_full(birthday) emp | phone_no | mask_partial(phone_no, '*'::text, 4) (6 rows)突然某一天，公司内部可共享员工信息时，直接删除表emp的脱敏策略mask_emp即可。postgres=> DROP REDACTION POLICY mask_emp ON emp;GaussDB(DWS)数据脱敏优势一套简单、易用的数据脱敏策略语法。一系列可覆盖常见隐私数据脱敏效果的、灵活配置的内置脱敏函数。一个完备、便捷的脱敏策略应用方案，使得原始语句在执行过程中可以实时、透明、高效地实现脱敏。GaussDB(DWS)充分满足客户业务场景的数据脱敏诉求，支持常见隐私数据的脱敏效果，实现敏感数据的可靠保护。了解更多华为云数据仓库GaussDB(DWS)，请点击这里。

恭喜HB1688获得无线鼠标奖励请于8月18日前填写完成获奖信息，否则视为弃奖，谢谢~https://devcloud.huaweicloud.com/expertmobile/qtn?id=523ca8c0c6594dbe8d9f83799b26d4ce&utm_source=dayi7days7天大数据分析实战训练营活动已开启，目前进入招募期，本次活动将助您了解大数据热门分析引擎Spark，使用华为云DLI和DGC产品完成大数据分析实践项目。更有超多活动等您参加，赢取华为手环等多重礼品！快来报名吧7天大数据分析实战训练营活动点击报名»»»本次训练营课程由浅入深，知识点全面，即学即用，如您在学习的过程中，有任何问题，可以通过本帖，与专家互动交流。【活动时间】7月15日-8月6日 【回复内容要求】1.可以提出您在课程学习中产生的任何疑问或者问题，也可以是您产生的深刻思考，我们统统欢迎；2.禁止抄袭或复制别人的任何内容；3.回帖时请务必留下你的微信昵称和华为云账号。 【奖励说明】活动结束后，由专家挑选出5位优秀提问开发者进行奖励。无线鼠标1个其他事宜请参考【活动页面规则】及【华为云社区常规活动规则】。

7天大数据分析实战训练营活动已开启，目前进入招募期，本次活动将助您了解大数据热门分析引擎Spark，使用华为云DLI和DGC产品完成大数据分析实践项目。更有超多活动等您参加，赢取华为手环等多重礼品！快来报名吧7天大数据分析实战训练营活动点击报名»»»活动参与流程  Step1. 请点击链接，先报名活动活动报名链接：https://developer.huaweicloud.com/activity/7days_bigdata.html（请先在页面领取部分课程资源，如您完成两天打卡，我们将为您发放余下课程所需的代金券）福利活动领取免费资源晒单赢取华为手环，点击链接了解详情：https://bbs.huaweicloud.com/forum/thread-139542-1-1.htmlStep2. 扫描下方二维码，添加群助手好友并回复“大数据”，免费入群！Step3. 入群后，群助手会通知开课时间；Step3. 开课后，请按照节奏学习视频课程，完成每日打卡任务（打卡任务完成后，请在本帖回复截图） 活动时间  招募期：2021年07月15日 至 2021年07月28日训练期：2021年07月29日 至 2021年08月06日课程大纲  专家介绍活动奖励活动规则1.活动参与方式：招募期流程：(1)注册华为云中国站账号并登录；(2)点击活动页中“立即报名”按钮跳转至报名页，先填写报名表；(3)扫描活动详情里的二维码，添加社群助手微信，回复“大数据”，即可入群训练期流程：(1)微信社群助手每日发布当日课程内容及规则，学员完成任务并打卡成功，获得阶段性奖励。   训练期内打卡规则：(1) 打卡时间：每日0:00~23:59；(2) 打卡方式：Step1：请打开当天的“打卡作业”（每一章最后小节）；Step2：按照要求完成作业；Step3：按以下格式在打卡贴内回复完成后的打卡截图：第一行：DayX（X=1到7）+华为云账户名+微信昵称            （打卡作业截图）eg：Day1+grandmaster+华为云1号小助手      （打卡作业截图）(3) 打卡须知：① 打卡需按照打卡方式要求操作；② 如当天打卡任务有打卡示例，学员所回复打卡截图中必须需显示华为云中国站账号，且为当日操作截图；③ 采用闯关打卡模式，每日只计算一次有效打卡；④ 若当日未进行打卡，训练期内设置3次补打卡机会，超过3次不可再补打卡；⑤ 社群助手将对每日的打卡内容进行审核，审核周期为3~5个工作日，未按照要求上传打卡任务，将被视为无效打卡，不计入打卡天数。2.训练期内评奖方式：(1)完成第1天打卡，每人可获得500码豆，码豆最多发放20万，数量有限先到先得。(2)连续完成3天打卡可获得抽奖机会，奖品为三合一数据线，奖品数量上限为100份，中奖概率（≤100%）为“100/完成连续打卡3天任务的总人数”。(3)连续完成7天打卡可获得抽奖机会，奖品为文件收纳包，奖品数量上限为80份，中奖概率（≤100%）为“80/完成连续打卡7天任务的总人数”。本次活动幸运奖将采用巨公摇号平台（https://www.jugong.wang/random-portal/）进行抽取，如您对评奖方式有异议，请勿参加本次活动。(4)课程期间，部分打卡任务为读书笔记，我们会挑选TOP3读书笔记进行奖励，奖品为《ModelArts人工智能应用开发指南》书籍1本。3.奖品发放说明：每位参加活动的用户理解并同意，为联系获奖用户以及奖品发放的需要，用户须在参与活动之时提供诸如姓名、联系方式、电子邮箱、通讯地址等真实个人信息，活动主办方将仅为前述目的以及适用法律规定的最小限度内收集和使用用户的个人信息,本次活动所收集的个人信息将在活动结束后删除。（用户在向华为云提交个人信息之前，应阅读、了解华为云《隐私政策声明》；用户参加本活动视为理解并同意华为云《隐私政策声明》，华为云《隐私政策声明》网页地址如下：https://www.huaweicloud.com/declaration/sa_prp.html）。获奖用户在领奖界面填写获奖信息，活动结束且用户填写完整领奖信息后14个工作日内，将统一发出奖品，所有实物奖品包邮，不额外收取任何费用。由于获奖用户自身原因（包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过30天未领取等）造成奖品无法发送的，视为获奖用户放弃领奖。为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格。本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。云服务协议链接的网址：http://www.huaweicloud.com/declaration/sa_cua.html如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。

公示结束后最终138人参与抽奖第一轮抽奖中奖名单如下（抽奖过程详见附件）：user_beifeng慕雪undefined*考过IE励志当攻城狮yd_264615813琉米第二轮抽奖中奖名单如下（抽奖过程详见附件）：Regan Yueyd_246933731zmzeng12yd_238247090阿弥陀佛cx2vj去休这个地方是昵称恭喜以上用户获得奖励，请在8月23日前完成获奖信息填写，如逾期没有填写视为弃奖哦，望周知~填写地址：https://devcloud.huaweicloud.com/expertmobile/qtn?id=0488c22fa5774481a42acd9cf7ae99c2&utm_source=bigdata7daysshaitu先对参与活动的开发者名单进行公示（附件可下载名单），如有问题请扫描二维码联系助手沟通，公示期8月9-8月11日，过了公示期名单不再修改，将会进行抽奖，望周知！（公布的为社区昵称，请自行核对）旧时光里的温柔yd_248137126湬黍szhwxtwolfandyhppynhhnukinsan空LAwuyicom水墨ye帅气的我yd_240212429zmzeng12yd_264615813白先生yd_78159143张辉玳瑁猫慕雪yd_266086776红鲤鱼与绿鲤鱼YNU-YJzdnyyhjunkanMr.GNyd_271203268JaneConanBigpiao886是安可啊孙同学的奇妙之旅测试人员001meet00shmilyfj云水不言沐清杰先森s多米诺的古牌yd_246933731linteng0718春秋大梦@Wuw12567878qianggeqiang辉辉傻呆呆琉米x19好久没出门民工小哥哥lees不是栗子花溪醒不来的梦yd_237416065zbjjyyyd_270382394Archive禄仁恝ad123445去休Regan YueHB1688星哥wwwinston我就灬是我iolink1002kevinStrawberry阿弥陀佛webclubAniazxl0715cx2vjchenyunlianguser_beifeng十年树木xiaobin8325DonaldT.Jump大林子林子大钢铁不钢铁侠liar8527RabbitCloud敏捷江湖桃花岛张教主koray御寜Thbcer阿哩个郎killusa晴空1yd_280743082yd_238247090spjcdlhw1993shuai_beijingkoala221cftang嘉韵MX落落undefined*yd_234279829风风筝孙小北奥力给yd_228478260nszdghwtom外围的小尘埃Jameszjt275978495lwq1228精彩无限沃尔文三心二意hundredtzyww夏暖天堂9127hw35824302小号奥利奥zhukang777若雪冰封cupidhwmwcrw129雨中独撑伞babybabyWangDaWei队长别开枪martinelelewdkjtdwq765416999yd_280422597Jason36912转了一圈考过IE励志当攻城狮东方不亮王小帅hegep40abcabcqiqiguai这个地方是昵称蜡笔不辣小助手二维码：7天大数据分析实战训练营活动已开启，目前进入招募期，本次活动将助您了解大数据热门分析引擎Spark，使用华为云DLI和DGC产品完成大数据分析实践项目。更有超多活动等您参加，赢取华为手环等多重礼品！快来报名吧7天大数据分析实战训练营活动点击报名»»»【活动时间】7月15日-8月6日 【晒图要求】本次活动只对7月之后领取以下免费资源的开发者有效1.点击下方活动链接，领取免费资源（至少领取任意2个资源）推荐领取 ：数据湖治理中心DGC  /数据湖探索DLI  （地区：请领取相同地区的资源，后续课程实践中会使用2个产品资源）https://developer.huaweicloud.com/activity/7days_bigdata.html2.对我的订单进行截图，截图必须包含免费资源的订单和右上角华为云账号信息，否则无效。示例：3.将截图回复至本帖即可参与抽奖。【奖励说明】活动结束后，我们将分两轮抽奖：第一轮抽奖将在所有符合要求的开发者中抽取6名进行奖励，礼品为华为手环4e。第二轮抽奖将在余下符合要求的开发者中抽取8名进行奖励，酷睿冰尊A9 笔记本散热器。本次活动幸运奖将采用巨公摇号平台（https://www.jugong.wang/random-portal/）进行抽取，会公布抽奖过程，如您对评奖方式有异议，请勿参加本次活动。【奖品展示】                     华为手环4e          酷睿冰尊A9 笔记本散热器其他事宜请参考【活动页面规则】及【华为云社区常规活动规则】。 

6月4日，华为智慧金融峰会2021“华为云数据使能，加速金融数据资产化”分论坛在上海举办。华为云携手中国工商银行、北明软件、神州信息、长亮科技、德勤管理咨询等合作伙伴分享面向金融领域的数据解决方案和创新实践，共创金融行业新价值。华为云云原生数据库GaussDB聚焦金融政企，打造一站式上云解决方案云原生数据库GaussDB，依托领先的存算分离架构，实现软硬协同，确保稳定可靠与卓越性能。目前已经规模应用在金融、电信、泛政府、能源、交通、互联网等各行业。华为云数据库产品部总经理苏光牛表示：“华为云GaussDB，立足云原生能力，聚焦全场景，为金融客户打造核心交易系统一站式上云解决方案，让客户真正做到选型安心、迁移放心、管理省心，做企业数字化转型最坚定的数据底座。”结合云原生与AI的技术，华为云在今年4月发布了面向金融行业的金融级分布式数据库GaussDB。在交易事务处理方面，它大幅度降低内存访问时延，性能提升了5倍。在复杂查询性能方面，它通过分布式全并行架构提供极致的吞吐量性能。在金融客户最关注的高可用方面，它提供了多种两地三中心容灾方案，满足金融级监管要求。此外，金融级分布式数据库GaussDB将AI技术融入分布式数据库的全生命周期，实现自治管理与调优等功能，大幅提升管理效率。华为云数据库产品部总经理苏光牛发表主题演讲 工行分享大数据创新实践工商银行大数据平台产品经理袁一表示，工商银行携手华为云FusionInsight持续创新探索，滚动升级让业务无中断；存算分离使数据统一存储，上层架构更灵活；HetuEngine提升全行13000名分析师即时BI体验，形成集技术、数据、服务于一体的大数据服务体系，不断提升工行金融服务实体经济能力，倾力打造服务于经济高质量发展的数字工行。工商银行大数据平台产品经理袁一发表主题演讲 华为云FusionInsight创新金融行业智能数据湖方案，提升用户体验华为云FusionInsight总经理杨志勇分享到，华为云FusionInsight智能数据湖提供湖仓一体化的现代数仓平台，客户可因地适宜设计自己的湖仓一体化数据架构，从单一离线跑批走向实时，T+0供数加速业务创新，让开发者轻松驾驭数据。目前已在工行、招行等大型金融企业成功实践，极大提升了用户体验。在2020年IDC MarketScape和2021年Frost &Sullivan评估中，FusionInsight多项指标领先国内大数据厂商。华为云FusionInsight总经理杨志勇发表主题演讲 北明软件联合华为云FusionInsight助力保险集团统一数据平台建设北明软件副总裁张翼表示，北明软件依托华为云FusionInsight智能数据湖，通过“湖仓一体化、流批一体化、数据服务化”的平台架构思想，构建保险集团统一数据平台，实现数据价值发现和提升，助力保险集团数字化转型。北明软件副总裁张翼发表主题演讲 华为云GaussDB(DWS)一站式分析技术，提速金融全场景分析华为云数据仓库资深专家表示，金融智能数据时代，数据规模呈指数级增长、多样性数据需要多样性的计算引擎，实时数据需要更快分析以释放数据价值。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库，支持x86和Kunpeng硬件架构，支持行存储与列存储，提供GB~PB级数据分析能力、多模分析和实时处理能力，用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景，广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统。华为云GaussDB(DWS)新一代数仓，企业级内核满足金融业严苛的技术标准，提供批量分析，交互式分析，实时分析，一站式解决数据的供需矛盾。实时分析技术，在标准数仓的基础上加持CEP引擎和时序引擎，真正做到实时入仓持续计算，该项技术斩获数博会领先科技成果奖“新技术”。满足金融全场景业务分析需要，推进普惠分析，让人人都能成为分析师。华为云数据仓库资深专家发表主题演讲神州信息成功落地金融业敏捷高效的数据管理最佳实践神州信息首席数据官CDO黄万忠表示，数字经济时代，金融机构需要挖掘数据潜在价值，驱动业务决策和优化，提升银行效能，推动银行高质量发展。神州信息通过数据服务的5大关键要素，即治理标准化、数据资产化、资产服务化、数据业务化和运营平台化，帮助银行构建基于数据服务的6大核心能力，包括数据治理、数据操作、分析赋能、服务应用、用户体验和监管合规，在金融行业成功落地了敏捷高效的数据管理最佳实践。神州信息首席数据官CDO黄万忠发表主题演讲 长亮基于华为云技术平台打造数据管理应用体系，赋能商业银行数字化转型长亮科技大数据业务部总经理李青表示，随着经济形势和金融环境的不断发展和变化，金融行业和互联网已经深度融合。在新的内外部环境要求下，银行需要提高金融服务的深度与广度，快速应对环境变化。长亮依托华为的软硬件技术平台，结合多年金融行业解决方案经验，积极落地金融行业数字化转型方案，内容包括打造数据管理应用体系-全面覆盖数据资产管理、实现智慧营销-全生命周期营销管理、实现智能风控-全流程覆盖信贷风险，助力银行数字化转型。长亮科技大数据业务部总经理李青发表主题演讲 德勤携手华为联合打造金融行业数字化转型方案德勤管理咨询银行业主管合伙人尤忠彬表示：“金融机构数字化转型从发展维度上需要客户跨越电子化、自动化、移动化、智能化4个阶段，从价值维度上需要实现卓越体验、员工减负提能、管理高效精细、业务创新扩张4大目标。”德勤将数字化转型的内涵定义为“4+4”，即帮助金融机构跨越4个阶段、实现4大目标。德勤与华为将充分融合双方优势实现能力互补，协同助力金融机构数字化转型的每一步；同时与华为将合力为金融机构打造“1+1+4+N”的数字化转型整体解决方案，探索金融机构数字化转型之道。德勤管理咨询银行业主管合伙人尤忠彬发表主题演讲 不同数字化阶段的金融机构面临不同的未知挑战，如何利用数据湖、数据仓库、数据库等技术，加速数据资产化，发挥数据新价值，成为当前数据领域的重要话题。华为云致力于深入理解客户的业务需求，将创新领先的技术与应用场景深度融合，创造行业数字化转型的无限可能。

        2021年4月21日，中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级，突破传统方案需离线停机多次升级模式，一次性将核心现网集群版本由FusionInsight HD C70升级到FusionInsight MRS 8.0.2，横跨C80、6.5.1两个版本，同时完成了大数据集群从物理机向云服务的模式转变，实现该案例在金融同业首例突破，树立同业新标杆。经过为期两周的升级实施过程操作，实现太保上层业务无感的平滑滚动升级，全程集群作业无中断、性能无影响。本次跨版本滚动升级的成功对金融科技领域意义重大，标志着中国太平洋保险为金融同业树立了大数据服务跨多版本升级、业务连续性和可持续演进的新建设标杆。一、项目背景        中国太平洋保险集团从2017年选择华为云FusionInsight构建保险大数据平台。随着太保与华为云合作的持续深入，其内部主要业务系统都已使用华为云大数据平台。但是早期各业务系统都建设了独立的大数据集群，数据无法互通，存在数据冗余，且多集群造成维护难问题。截止升级前已建设18套大数据集群，以FusionInsight HD C70版本为主。        随着太保业务的高速发展，对大数据平台的统一管理、数据共享、升级演进有了新的诉求，希望将现网18套生产集群进行统一升级和归并，同时面向未来提供大数据集群可持续演进的能力。        为此，太保联合华为云，决定将现有18套大数据集群，由FusionInsight HD C70版本统一升级到MRS8.0，升级的主要目标：通过对原集群升级归并，统一为一套大集群，通过资源整合，提高资源利用率；统一到MRS平台版本资源监控更完善，定位问题更准确；升级到云平台，可以按需灵活调配资源，实现可演进的湖仓一体架构，扩展其他高阶服务。二、项目内容2.1 技术挑战        太保大数据集群按需部署了HBase、Hive、HDFS、ZooKeeper、YARN、Oozie、Hue、Spark等各类组件。        此外，集群中每日有上万作业的执行，也为无感知的滚动升级加大了难度。主要挑战有以下几点：Hadoop组件内核由X到3.X的跨大版本升级中，社区仅提供了HDFS的滚动升级能力，YARN的社区原生目标版本由于与原版本协议不同，无法支持滚动升级；社区原生版本的HDFS在升级过程中，删除的文件并不会物理删除，而是移动到trash目录，这一处理对大容量集群的滚动升级造成存储资源压力，阻碍了剩余信息保护，如果不能及时清理会导致爆盘问题；Hive组件内核由X到3.X的跨大版本升级中，由于元数据前后格式不兼容、API前后版本有变化、部分语法不兼容等问题，导致社区原生版本无法支持滚动升级；HBase组件内核由X到2.X的跨大版本升级中，API前后版本存在较大的变化，导致社区原生版本无法支持滚动升级；每日上万任务量，滚动升级期间如何保障平稳运行，尤其是损益分析、减值测算等核心场景；600+节点的大数据集群环境下，需要确保在升级过程中突发状况，快速应对硬件（磁盘、内存等）故障，不影响升级；70+业务系统，数百个业务在此集群上运行，滚动升级过程中需要保证每一个业务运行不受损。2.2 技术保障        滚动升级就是借助于FusionInsight MRS的高可用机制、主备模式、多副本机制、机架策略等在不影响集群整体业务的情况下，一次升级/重启部分节点。循环滚动，直至集群所有节点升级到新版本。        下图为已HDFS组件滚动升级示例：        为应对上述技术挑战项目组建了滚动升级小组，由社区PMC、社区Commiter、版本Developer构成，主要执行了以下技术保障：依托协议同步、元数据映射转换、API封装转换等方式，解决了社区协议不同、元数据格式不同、API变化等导致的兼容性问题，保障了滚动升级过程中低版本的组件客户端的正常使用；针对HDFS社区新版本升级过程中的文件未删除问题，额外实现了trash目录自动清理，将逻辑删除转换为物理删除，并增补了旧版本定期清理trash目录的工具。确保了基础设施资源利用的有效性，降低存储成本；针对组件升级前后性能状况、升级时长、升级过程中和事后可能出现的瓶颈点等问题，做了相应架构调整及优化，助力实现滚动升级的全局可控、全程无感、全面无误；运维管理方面，项目组针对性的研发了升级管理服务界面，可以端到端、分步骤地完成滚动升级，便于查看滚动升级状态，实现组件级控制。为了降低在升级过程中对关键任务服务连续性的影响，项目实现了按升级批次暂停的功能，有助于在关键作业或者作业高峰时段，通过暂停升级进行风险规避，确保业务无影响。此外，为避免各种突发事件中断升级进程，项目实现了故障节点隔离能力，在故障发生时，可以跳过对应节点的升级动作，保障了故障处理和升级的同步进行。2.3 组织保障        项目启动后，成立了以太保相关领导为项目经理，以华为交付和研发、太保的研发和运维为成员的联合项目组。本次升级面向的应用部门多达20+，平台涉及业务数量多且复杂。为保证滚动升级成功且整个过程中业务要做到0中断，在升级前、中、后的6个月里由华为方主导，客户各个业务部门紧密配合，项目组制定了周密的组织保障制度。太保升级项目组织保障升级前准备阶段：在项目组整体协调和华为的研发支撑下，完成了70+应用代码改造及验证，并输出测试报告；为充分识别风险，华为主动提供测试环境硬件资源，项目组联合各应用部门，进行了3次升级演练的联合测试；为达成升级前置条件，华为专家调研指导，有效的进行了集群小文件合并、客户端整改、集群多次巡检、升级方案的反复评审改进等升级前准备工作；升级过程保障：在升级过程的两周期间，华为安排研发、方案等专家现场保障。华为协同太保联合项目组制定了24小时排班保障、联合项目组和应用部门间的信息反馈及沟通（滚动升级中每组件升级完都需业务验证及确认）、升级操作的联合项目组授权、升级操作的录屏监控等制度；升级后观察：滚动升级完成后，联合项目组协调各应用部门进行应用业务验证，且已全部输出业务运行正常报告。后华为项目组后续持续观察两周时间，确认平台及应用运行正常后进行了本次升级提交。三、总结与展望        太平洋保险联合华为公司完成的本次金融业首家大数据集群跨多版本的滚动升级，实现了上层业务无感知、全程集群作业无中断、性能无影响，切实保障了客户的核心利益，也树立了金融同业新标杆。        随着数字化技术的不断迭代升级，将改变传统保险运营模式，未来主要会呈现出以下三个方向的变革：实现从大数到小数，加强风险数字刻画，从过去的大数概率到小数更加敏锐的感知，将从根本上改变传统的运营模式；从实体到虚拟，数据已是重要的生产资料，通过海量数据识别和评估新型资产的风险，将成为保险业的核心能力；从保险到治理，数字化将提升保险公司自身风险管理能力，将更多的参与到国家、城市的风险治理当中，逐步从损失补偿到风险管理和治理。        面向未来，太平洋保险将携手华为持续创新，不断完善风险生态，贯彻"以客户需求为导向"的战略，建设"专注保险主业，价值持续增长，具有国际竞争力的一流保险金融服务集团"。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

基于“十四五规划”践行“信息化2.0的行动计划”，华为云联合北师智慧构建了“互联网+教育”大平台——北师智慧智学伴教学系统，目的在于实现人工智能、大数据等先进技术与教育教学的深度融合，助力智慧教育数字化转型发展。平台以提高课堂效率为目标，将教学场景、教学内容和教学应用深度融合，教学过程与学情数据自动融入个人空间，全面沉淀过程性的数据，为教研和教学服务，教育云平台包含了融合的资源平台和管理平台。功能覆盖教学全场景，主要服务于学生、老师、家长、管理者四个对象。 商品亮点：1）深度融合教学场景 让每个老师都能做好信息化教学，不改变老师的教学习惯，把教学资源融入教学业务流程2）轻投入实现大规模因材施教 业内唯一，学生不购买硬件设备，老师手阅即可收集批阅痕迹并自动生成错题集3）盘活已投入的基础设施硬件利旧学校基础实施，班班通安装软件上云；开放融合，可对接已建设的平台和内容4）数据融合的开放平台 全面构建基于大数据实现全场景数据融合，内容、软件、硬件、平台均可开放融合5）标准化服务 服务简单，交付有标准、培训有计划、教研活动有准备，帮助学校提升师生信息素养 华为云云市场北师智慧智学伴教学系统核心功能：（1）智慧教育大脑：北师智慧基础云服务平台，构建开放、融合、共享的哈尔滨“城市大脑”。围绕学生、教师、教研员、管理者四类用户的核心诉求，构建和完善当地教育大脑中枢及教育教学应用体系。依据国家、教育部、省教育厅数据标准，统一数据采集标准和使用规范；建设统一生态平台，横向整合区域平台，纵向对接国家和黑龙江省平台，基于全场景应用形成“用数据辅助决策”的新机制，构建面向数据可视化的“一张图”教育治理图谱。 （2）局级教育治理大数据平台解决多级管理的一体化问题，实现教育局层面的教育管理平台，以及教育大数据看板等平台系统，推进区域内教育水平的均衡发展。帮助管理者及时掌握信息化系统建设与应用情况，实现基于数据的科学化决策和大规模因材施教；帮助地方政府通过平台有效提升“课后3点半”的校内课外辅导效率和效果，有效规范并治理培训机构。（3）局级资源共建共享平台建设“互联网+教育”大资源平台，建设形成协同连接的网状数字化教育资源应用环境。支持区校形成资源一体、数据同步、业务联通、服务融合、协同发展的一体化应用环境，实现优质数据与资源的沉淀与再应用。 （4）人人通空间全覆盖通过人人通网络学习空间的建设，重构当地学校全体教师的教学和办公环境，以及学生的学习环境，建立人人皆学、处处能学、时时可学的泛在学习环境，适应信息化条件下的教与学需求。 （5）“教、学、测、评、育”应用为教师提供备、教、改、辅、考全方面的智能教学工具，为学生提供一套完整预习、课堂、作业、练习、错题本等一系列学习活动的学习空间；满足教育部提出的提高课堂效率与质量的要求，在实际教学中，用数据帮助教师关注每一个学生，差异化教学；同时提供智慧教研系统、综合素质评价、家校共育系统，满足教师、学生、家长、管理者多方教育应用的需求，推进优质的资源和应用在学校的落地，实现与课堂教学的深度融合。 （6）智慧作业学生不需要购买硬件设备，老师用智慧笔批阅，达成全面收集老师批阅痕迹并自动生成错题集。全面解决批阅痕迹保留，应对教育部作业管理相关政策，实现老师批改作业，同时可控制作业总量和质量、获得作业数据分析；各级教育局可监管作业的批改、作业的质量；不给家长增加负担，提供学情数据服务。（7）智慧课堂通过小组探究性学习课堂、纸笔智慧课堂、PAD智慧课堂等多种形态，实现课前预习、课后作业、学科工具、课堂报告、课堂板书及微课、云与白板的融合系统、课堂智能组网、多屏互动管控、课堂互动、课堂测试等丰富的课堂形式。加速课堂教学进度，增强教学互动性，提高学生学习兴趣和积极性，实现课堂翻转和教学创新，有效实现教学资源应用的普及化和常态化，小组探究性学习课堂，帮助学生建立主动学习、探究学习、小组协作学习的能力，同时解决课后“3点半”在校内延时自主学习课上的学习问题。 北师智慧智学伴教学系统以“教、学、测、评、育”教育全场景的智慧教育解决方案，积极响应国家教育信息化2.0建设要求，帮助地区政府实现教育产业数字化转型发展，让每个孩子得到优质的教育资源，让每个孩子成为最好的自己！文中提到的商品链接：北师智慧智学伴教学系统【华为云云市场，助您上云无忧】

概述       当我们把设计稿和技术选型定下来之后，接下来就要开始着手画这个依赖图了。依赖图的组成最简单的就是节点Node 和节点之间的连线。这一节我们要处理的就是节点位置信息的处理。为了确定节点的位置信息，首先要给节点分层，分层的信息取决于节点之间的依赖关系。问题分析       当前我们默认图是从上到下布局方式，节点分层，最容易想到的就是拓扑排序，通过BFS 宽度优先遍历，计算每个节点的步长。自顶向下BFS       如上图，我们如果是普通的BFS，我们会发现D 节点应该是第二层，实际上D应该是第三层，所以，实际上每个节点应该取最大的步长，实现如下function calcLayer(nodes){ var queue = []; var maxLayer = 1; var nodesT = nodes; // 入度为0 的点放入队列 for (var i = 0; i < nodesT.length; i++) { if (nodesT[i].inputNode.length === 0) { nodesT[i].layer = 1; queue.push(nodesT[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.outputNode && tNode.outputNode.length > 0) { for (var j = 0; j < tNode.outputNode.length; j++) { var outputNodeIndex = getNodeIndex(tNode.outputNode[j], nodesT); if(outputNodeIndex < 0) continue; if (nodesT[outputNodeIndex].layer === -1) { nodesT[outputNodeIndex].layer = tNode.layer + 1; }else{ nodesT[outputNodeIndex].layer = Math.max(nodesT[outputNodeIndex].layer,tNode.layer + 1); } // 更新节点层次，选择最大值 maxLayer = Math.max(maxLayer, nodesT[outputNodeIndex].layer); queue.push(nodesT[outputNodeIndex]); } } } }       至此分层基本完成，但是发现另外一种情况，如下：       如果是按照刚才那种分发，入度为0 的节点必然在第一层，其实这种，我们可能更希望 G在第三层，F 在第二层，例如下图展示的       这样展示，图会更紧凑一点，观察图可知，在链路中间的节点，它的层级就是固定的，例如D节点，但是一些没有上游节点的，例如G，F 的位置确实可以多种选择的。在观察，我们可以知道，如果从E往上BFS，我们会发现，G,F节点就是我们需要的层次了，所以，这时候，我们需要自底向上再进行一次BFS，得到新的层级，并且用自底向上的结果去矫正自上而下的结果，这一点很关键。自底向上BFSfunction bottomToTop (nodes){ var queue = []; var maxLayer = 1; for (var i = 0; i <nodes.length; i++) { if (nodes.outputNode.length === 0) { nodes[i].layer = 1; queue.push(nodes[i]); } } while(queue.length > 0){ var tNode = queue.shift(); if (tNode.inputNode && tNode.inputNode.length > 0) { for (var j = 0; j < tNode.inputNode.length; j++) { var inputNodeIndex = getNodeIndex(tNode.inputNode[j], nodes); if(inputNodeIndex < 0) continue; if (nodes[inputNodeIndex].layer === -1) { nodes[inputNodeIndex].layer = tNode.layer + 1; }else{ nodes[inputNodeIndex].layer = Math.max(nodes[inputNodeIndex].layer,tNode.layer + 1); } maxLayer = Math.max(maxLayer, nodes[inputNodeIndex].layer); queue.push(nodes[inputNodeIndex]); } } } // 计数从下到上的，这里要转换成从上到下 for(var i = 0; i < nodes.length; i++){ nodes[i].layer = maxLayer + 1 - nodes[i].layer; } }修正结果集function fixLayer (nodesT, nodes){ for(var i = 0; i < nodesT.length; i++){ if(nodesT[i].inputNode.length === 0){ var minL = maxLayer; var minT = maxLayer; if(nodesT[i].outputNode && nodesT[i].outputNode.length > 0){ for(var j = 0; j < nodesT[i].outputNode.length; j++){ var inputNodeIndex = getNodeIndex(nodesT[i].outputNode[j], nodes); var inputNodeIndexT = getNodeIndex(nodesT[i].outputNode[j], nodesT); if(inputNodeIndex < 0) continue; if(inputNodeIndexT < 0) continue; // 注意，矫正的结果不能该节点比它子节点的层级还要高，这里要和它子节点做一次比较 minL = Math.min(minL, nodes[inputNodeIndex].layer - 1); minT = Math.min(minT, nodesT[inputNodeIndexT].layer - 1); } } nodesT[i].layer = Math.min(minL,minT); } } }总结           这里主要用到了BFS，如果很熟悉这个算法的话，还是很简单的，同时要观察一些实际情况，做一些优化即可！转自，从零开始画自己的DAG作业依赖图(二)--分层布局算法-云社区-华为云 (huaweicloud.com)

随着大数据业务场景越来越复杂，数据开发中常常有作业之间的依赖，在执行作业的时候，可能会出现作业失败，或者重试的情况，运维或者开发人员需要有一个很直观的图展示了解作业之间的依赖，这时候DAG依赖流程图就是一个很好的展现形式。由于一些开源的插件和当前的业务逻辑有一些冲突，华为云大数据技术工程师尝试从零开始，一点点实现业务的DAG图，并记录整个实现过程和总结。【摘要】 背景：        由于业务场景需要展示作业之间的依赖关系，由于一些开源的插件和当前的业务逻辑有一些冲突，个人打算尝试从零开始，一点点实现自己的DAG图。同时用博客记录自己实现过程和总结，不正确的地方，欢迎指正提升。场景分析：        1.  数据开发中常常有作业之间的依赖，在执行作业的时候，可能会出现有些作业失败，或者重试，这时候，运维或者开发的人，需要有一个很直观的图去展示作业之...背景：        由于业务场景需要展示作业之间的依赖关系，由于一些开源的插件和当前的业务逻辑有一些冲突，个人打算尝试从零开始，一点点实现自己的DAG图。同时用博客记录自己实现过程和总结，不正确的地方，欢迎指正提升。场景分析：        1.  数据开发中常常有作业之间的依赖，在执行作业的时候，可能会出现有些作业失败，或者重试，这时候，运维或者开发的人，需要有一个很直观的图去展示作业之间的依赖，这时候DAG 依赖流程图就是一个很好的展现形式。        2.  大数据场景下，可能会出现很多节点，甚至可能达到上千，甚至上万的节点，节点之间的边有可能也会很多，大的数据下，图的渲染时间需要考虑在内        3.  用户有可能在看了图之后，想直接重跑或者查看某个节点的上下游节点，等等运维操作        4.  用户可能需要图拖动某个算子，点击某个算子，复制某些算子的名称等一些操作实现目标：        基于以上客户的要求，我们大致明确要实现目标和需求，梳理如下        1.  用图的方式展示作业之间的依赖，基本能力要达到        2.  图要能够支撑大数据场景，在很多节点下节点之间布局清晰节点的之间的连线不要重叠，少交叉图能够支持缩放，拖动   图中节点支持拖动        3.  图要支持运维能力 悬浮某个节点 ，展示该节点的上下游，能够区分上下游节点选中某个节点，以及支持选中某个节点全部上游或者下游节点右键可以定制化业务操作，例如作业实例的重跑，停止作业名称支持复制选中具体某个节点可以展示该节点的信息面板        4.  优化提升提供鸟瞰图的功能，保证大数据下可以查找节点      提供搜索功能，能够精准在图上定位出要找的作业交互设计稿：        基于以上目标，设计稿大致如下技术选型：         一般的DAG，就两种方式，一种是canvas实现，另外一种就是svg，由于svg 对于事件处理比较简单，但是性能会差一些，后续如果svg 性能搞不定，可以使用canvas优化，新手，所以这里我选择了svg。用了svg.js,这个开源的插件，封装了一些简单的svg 函数，可以减少部分工作量。实现过程概览：        个人打算分一下几个方面，逐步实现。规划，背景，交互设计方案，技术选型节点的分层布局算法节点之间的线条路径图上运维--右键，选中，节点复制等图上事件--缩放，平移，节点拖动等后期优化--纵向排列优化后期优化--鸟瞰图以及搜索框及其他后期优化--大数据节点优化转自，从零开始画自己的DAG作业依赖图(一)--前期准备-云社区-华为云 (huaweicloud.com)

       2021年6月18日，华为云TechWave全球技术峰会（人工智能&数据）在上海举行，以“创新普惠”为主题，分享技术创新与行业实践。华为云大力投入数据、人工智能领域，发布数据和AI系列新品，加速千行百业智能升级。华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳发表主题演讲       华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳出席并发表了《创新普惠，加速千行百业智能升级》的主题演讲。石冀琳表示：“企业实现全面云化、全栈智能的三大关键是：首先是全面拥抱云原生，加速云上创新，打造企业数字化转型、智能升级的底座；其次是围绕数据全生命周期技术创新，激发数据潜能，让数据成为新的生产要素；最后是释放AI生产力，使能全业务、全流程创新，打造企业智能升级的核心能力。”华为云架构与技术规划部部长朱海培发表主题演讲       华为云架构与技术规划部部长朱海培出席并发表了《云原生2.0，让云无处不在，让智能无所不及》的主题演讲。朱海培表示：“华为云FusionInsight智能数据湖解决方案提供湖仓一体的统一数据平台，包含MRS云原生数据湖、DWS数据仓库、DGC数据湖治理中心、DLI数据湖探索、ModelArts推理平台、TICS可信智能计算等云服务。通过底层统一数据存储，实现全局一份数据，通过对象存储物理数据，全局一份数据无需搬迁数据；分析计算，多引擎弹性计算，一个平台多引擎支持批处理、流处理、交互式查询等；统一元数据管理，全局一个视图，实现全局统一元数据管理，像管理代码一样管理数据。       在峰会上由太平洋保险客户发表《数字化提升保险风险治理能力》主题演讲，云计算、大数据等技术支撑风险生态建设，推动保险业务产品的转型和重塑，全面实现数字化和数智化的运营模式。太平洋保险在大数据平台的创新实践       中国太平洋财产保险基于华为云FusionInsight大数据平台，整合客户信息、运营服务资源和气象数据，搭建起气象灾害的风控信息化平台，并逐步深化大数据应用，延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”，不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力；在个客风控平台方面，打通承保理赔数据，形成客户的风控画像，结合经营风险，及时的进行干预，避免经营风险的发生。华为云FusionInsight MRS解决方案架构师发表主题演讲       华为云FusionInsight MRS解决方案架构师在数据使能分论坛上发表《MRS云原生数据湖，推动大数据分析从离线走向实时》的主题演讲。当前，大数据云化部署是主流趋势，政企客户需要充分利用云技术使得大数据所需资源弹性、灵活的使用。MRS云原生数据湖可让客户在一个架构实现离线数据湖、实时数据湖、逻辑数据湖三种数据湖，用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！离线数据湖使客户在一个平台下实现AI、BI、交互式查询等多场景分析；实时数据湖使大数据分析从离线走向实时，通过Hudi实现数据增量更新，从传统Append 到 Upsert，数据实时更新，数据价值释放从T+1转变为T+0；通过Clickhouse毫秒级的OLAP分析能力，实现数据分析不出湖，解决了传统数据来回搬迁、数据冗余的问题；逻辑数据湖通过HetuEngine实现跨湖、跨仓、跨云协同分析，突破地理限制，打破数据“墙”；       同时，MRS云原生数据湖还提供IoTDB时序数据库、DGC数据湖治理中心等能力。IoTDB实现一份数据兼容全场景，一套引擎打通云边端、一套框架集成云边端；DGC实现数据统一入湖、统一数据服务，让开发者轻松驾驭数据集成、规范、开发、质量、资产、安全、开放服务全流程。       在2020年IDC MarketScape评估中，FusionInsight处于市场份额和技术实力双领先，在2021年Frost&Sullivan评估中，FusionInsight在创新、成长及基础能力全面领先国内大数据厂商。华为云FusionInsight持续投入10年+，坚持与世界同行，在开源社区先后开放CarbonData和openLooKeng等组件，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户，已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

2021年6月18日，华为云TechWave全球技术峰会（人工智能&数据）在上海举行，以“创新普惠”为主题，分享技术创新与行业实践。华为云大力投入数据、人工智能领域，发布数据和AI系列新品，加速千行百业智能升级。在峰会上由太平洋保险客户分享“数字化提升保险风险治理能力”议题，云计算、大数据等技术支撑风险生态建设，推动保险业务产品的转型和重塑，全面实现数字化和数智化的运营模式。中国太平洋财产保险基于华为大数据平台，整合客户信息、运营服务资源和气象数据，搭建起气象灾害的风控信息化平台，并逐步深化大数据应用，延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”，不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力；在个客风控平台方面，打通承保理赔数据，形成客户的风控画像，结合经营风险，及时的进行干预，避免经营风险的发生。随着数字化技术的不断迭代升级，将改变传统保险运营模式，未来主要会呈现出以下三个方向的变革：实现从大数到小数，加强风险数字刻画，从过去的大数概率到小数更加敏锐的感知，将从根本上改变传统的运营模式；从实体到虚拟，数据已是重要的生产资料，通过海量数据识别和评估新型资产的风险，将成为保险业的核心能力；从保险到治理，数字化将提升保险公司自身风险管理能力，将更多的参与到国家、城市的风险治理当中，逐步从损失补偿到风险管理和治理。华为云FusionInsight持续投入10年+，坚持与世界同行，在开源社区先后开放CarbonData和openLooKeng等组件，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户，已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

为进一步支撑国家大数据战略落地，推动“十四五”期间大数据产业交流与合作，中国信息通信研究院（以下简称“中国信通院”）于2021年6月24日在京召开“2021大数据产业峰会·成果发布会”。会上，中国信通院云计算与大数据研究所所长何宝宏发布了《2021大数据十大关键词》。十大关键词分别是：数据要素、数据安全、DataOps、隐私计算、服务体系、与云融合、实时计算、数据湖、数字孪生和硬件变革。当前世界正经历百年未有之大变局，大数据技术、产业和应用逆势而上，“数据驱动”的价值深入人心。十大关键词勾勒出了大数据在政策、技术、产业、应用等方面呈现出的特点，为产业下一步演进提供了依据。大数据产业峰会至今已经成功举办五届，成为支撑大数据国家战略落地、全景展示大数据产业发展成果、推动大数据产业交流与合作、探讨发展面临重大问题的权威会议，是政府主管部门领导、业界知名专家、产业链各环节厂商高管、学术及研究机构人员等共同参与的一个高端平台。文章转载至环球网 https://city.huanqiu.com/article/43fZj0e0By4