-
地图提交新的 提示Id重复 也修改不了
-
随着春日的脚步悄然而至,大自然呈现出一派生机盎然的景象,但与此同时,花粉、尘螨等过敏源也在悄然增多,给易感人群的生活带来困扰。此时,物联网IoT与边缘计算的绿色科技力量开始发挥其独特优势,为我们营造一个更加健康、舒适的春季生活环境。物联网技术如同遍布环境各处的神经末梢,通过搭载在家居、公共场所的各种智能传感器,实时捕获空气中的微粒浓度、湿度、温度等信息。尤其是在春分时节,当花粉飘散高峰,这些传感器能灵敏识别空气中潜在的过敏原浓度变化,数据经由高速稳定的网络传输至边缘计算设备。今天,边缘计算则赋予了物联网科技前所未有的敏捷响应能力。数据不再需要长途跋涉传至云端中心进行处理,而是直接在靠近数据源头的边缘计算节点上实现即时分析和决策。一旦发现温湿度条件不利于过敏症状缓解或室内空气质量下降,盈电物联网边缘计算系统立即激活智能空调、除湿机或加湿器,精确调控室内温湿度,抑制过敏原的活跃程度,创造一个宜人的生活环境。此外,物联网智能家居系统还可根据个人的过敏史和生理特征,个性化定制室内环境条件。例如,通过恒温恒湿系统确保卧室湿度适中,避免过度干燥刺激呼吸道,或过湿导致霉菌滋生。配合智能窗帘与遮阳设备,合理调节室内光照与温度,减轻因季节交替带来的不适。不仅如此,物联网与绿色科技还共同推动环保和健康管理的深度融合。智能生态园林系统利用盈电物联网边缘计算优化植物配置,减少高致敏植物的种植比例。同时,智能灌溉系统可根据天气及环境因素适时适量浇水,降低扬尘和霉菌滋生,从而改善周边空气质量。总结来说,物联网与边缘计算绿色科技的融合,不仅在春天这个敏感季节里守护我们的呼吸健康,抵御外界过敏源侵扰,更通过精准调控室内温湿度,塑造出一个既绿色环保又高度人性化的舒适生活空间,让我们在享受春光的同时,无惧过敏烦恼,畅享健康生活的美好。
-
操作场景数据大屏是面向企业数据消费者,将可视化和场景叙事技术结合,运行在智能设备上,非接触式连接的酷炫大屏,满足业务监控数字屏、项目会议演示屏,以及对外媒体大屏等场景,从而推动企业数据群体消费。操作流程图1 创建大屏流程步骤1:新建项目登录DataArts Insight管理控制台。在DataArts Insight控制台,按照如下指引,新建项目。单击右侧的“新建项目”创建项目。在新增项目页面输入项目的名称。选择对应的企业项目。填写描述信息。单击‘确认’完成项目创建。说明:项目名称只能由中英文字、数字、以及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成。项目名称字符长度不超过50个字符。描述信息的长度不超过512个字符。图2 新增项目步骤2:新建数据源新建数据源有以下几种方式:DataArts Insight首页新建数据源快速入口。项目页面内“数据管理 > 数据源”页面下新建数据源。本示例选择在项目页面下创建数据源。进入新建的项目,按下图指引完成数据源的链接,单击“新建数据源”。图3 新建数据源源库类型:选择数据源作为数据分析的数据输入。DataArts Insight支持连接ClickHouse、GaussDB(DWS),同时也支持API数据源接入。本例选择GaussDB(DWS)为源库类型,接入网络类型选择公网接入。更多参数配置请参考表2。表1 数据源说明数据源描述ClickHouseClickHouse是一款开源的面向联机分析处理的列式数据库。GaussDB(DWS)数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。API数据通过API的方式连接数据源。图4 新建DWS数据源表2 配置项参数说明参数描述名称数据源配置列表的显示名称。说明:名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。域名数据源IP。用户名登录数据库的用户名。密码登录数据库的密码。端口对应数据库的登录端口。数据库登录的数据库名称。SASL_SSL开启SASL_SSL可以实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。完成配置项填写单击“连接测试”。测试连接成功后,点击“确定”完成数据连接。步骤3:新建数据集新建数据集以下几种方式:DataArts Insight首页新建数据集快速入口。项目页面内“数据管理 > 数据集”页面下新建数据集。数据源列表下创建数据集。本示例选择在项目页面下“数据管理 > 数据集”下创建数据集。完成数据源连接后,创建数据集,单击“新建数据集”。图5 新建数据集配置数据源信息。选择步骤2:新建数据源中新建的数据源作为数据集的输入。选择数据源的数据库、Schema。双击数据表,进入数据预览页面。在该页面可对数据进行过滤、新建指标和新建层次维度等操作。图6 配置数据集相关参数单击右侧的“保存”保存数据集的配置信息。输入数据集的名称,单击“确定”完成数据集创建。说明:数据集名称只能由中英文、数字及下划线(_)组成,且不超过64个字符。步骤4:新建数据大屏新建数据大屏有以下几种方式。控制台直接创建。进入项目进行创建。数据集编辑页面创建大屏。数据集列表页面创建大屏。本示例使用数据集编辑页面创建大屏:登录DataArts Insight管理控制台。单击控制台右侧的,搜索所需的项目名称,单击项目名进入项目页面。图7 查找项目单击左侧“数据集”,进入数据集页面,单击对应数据集操作列表下的“编辑”进入数据集编辑页面。图8 数据集编辑页面创建大屏在数据编辑页面,单击右上侧的“创建大屏”,进入创建大屏页面。图9 大屏配置页面在大屏配置页面的左侧选择需要的组件,拖拽进画布内。本示例使用的是折线柱图组件为例,更多组件的使用请参考数据大屏章节。配置组件字段和样式。配置组件字段在数据列选择需要的数据集。将需要的类别轴/维度和轴值/度量分别拖拽至“字段 >类别轴/维度和轴值/度量”内。单击“更新”,完成组件字段配置。配置组件样式单击“折线柱图 > 样式”。在样式页面对组件的样式进行配置。保存或保存并发布大屏。完成大屏制作之后,单击大屏编辑页面右上侧的“保存并发布”或“保存”。保存:保存大屏之后,在大屏页面大屏不具有查看大屏功能。在保存的页面输入大屏的名称。图10 保存并发布说明:大屏名称不能为空,只允许输入长度为1到32位由数字、中文、英文、下划线(_)或中划线(-)组成的字符串。保存并发布:保存并发布大屏之后,在大屏页面大屏具有查看功能。在保存并发布的页面输入大屏的名称。图11 保存并发布说明:大屏名称不能为空,只允许输入长度为1到32位由数字、中文、英文、下划线(_)或中划线(-)组成的字符串。步骤5:查看/预览大屏当大屏创建完成之后,可以进行预览方便对大屏的效果进行修改,本节将为您介绍如何预览大屏。在页面的右上侧,点击“预览”,即可完成预览大屏的功能。图12 预览大屏图13 零售数据大屏效果图
-
操作场景DataArts Insight提供了简单易用的可视化操作和灵活高效的多维分析能力,DataArts Insight连接外部数据源,即可进行数据分析和报表搭建。本节将为您介绍使用DataArts Insight连接GaussDB(DWS)数据源制作图表的操作步骤。操作流程图1 智能数据洞察快速入门的流程步骤1:新建项目登录DataArts Insight管理控制台。在DataArts Insight控制台,按照如下指引,新建项目。单击右侧的“新建项目”创建项目。图2 创建项目在新增项目页面输入项目的名称。选择对应的企业项目。填写描述信息。单击“确认”完成项目创建。说明:项目名称只能由中英文字、数字、以及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成。项目名称字符长度不超过50个字符。描述信息的长度不超过512个字符。图3 新增项目步骤2:新建数据源新建数据源有以下几种方式:DataArts Insight首页新建数据源快速入口。图4 数据源项目页面内“数据管理 > 数据源”页面下新建数据源。本示例选择在项目页面下创建数据源。进入新建的项目,按下图指引完成数据源的链接,单击“新建数据源”。图5 新建数据源源库类型:选择数据源作为数据分析的数据输入。DataArts Insight支持连接ClickHouse、GaussDB(DWS),同时也支持API数据源接入,详细了解请参见新建数据源章节。示例选择GaussDB(DWS)为源库类型,接入网络类型选择公网接入。更多参数配置请参考表2。表1 数据源说明 数据源描述ClickHouseClickHouse是一款开源的面向联机分析处理的列式数据库。GaussDB(DWS)数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。API数据通过API的方式连接数据源。图6 新建DWS数据源表2 配置项参数说明 参数描述名称数据源配置列表的显示名称。说明:名称长度不能超过32个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。域名数据源IP。用户名登录数据库的用户名。密码登录数据库的密码。端口对应数据库的登录端口。数据库登录的数据库名称。SASL_SSL开启SASL_SSL可以实现数据源和DataArts Insight之间的可信身份认证与安全数据传输。完成配置项填写单击“连接测试”。测试连接成功后,点击“确定”完成数据连接。步骤3:新建数据集新建数据集以下几种方式:DataArts Insight首页新建数据集快速入口。图7 数据集项目页面内“数据管理 > 数据集”页面下新建数据集。数据源列表下创建数据集。本示例选择在项目页面下“数据管理 > 数据集”下创建数据集。完成数据源连接后,创建数据集,单击“新建数据集”。图8 新建数据集配置数据源信息。选择步骤2:新建数据源中新建的数据源作为数据集的输入。选择数据源的数据库、Schema。双击数据表,进入数据预览页面。在该页面可对数据进行过滤、新建指标和新建层次维度等操作。图9 配置数据集相关参数单击右侧的“保存”保存数据集的配置信息。输入数据集的名称,单击“确定”完成数据集创建。说明:数据集名称只能由中英文、数字及下划线(_)组成,且不超过64个字符。步骤4:新建仪表板创建仪表板有以下几种方式:DataArts Insight首页创建仪表板快速入口。图10 仪表板创建数据集编辑页面。在控制台单击需要操作项目>数据集>操作列>单击编辑,进入数据集编辑页面,单击页面右上角“创建仪表板”按钮。数据集列表页面。在控制台单击需要操作项目>数据集>操作列>新建仪表板。仪表板表页面。在控制台单击需要操作项目>数据分析>仪表板>新建仪表板。本示例选择在数据集编辑页面进行创建仪表板。在新建的数据集页面,单击右上角的“创建仪表板”进入仪表板页面。新建可视化图表,本示例以智能图表为例。在智能图表区域,将数据的“维度”和“度量”通过鼠标拖动到“智能图表”内的“列”内。图11 制作智能图表点击“更新”之后就可以得到需要的智能报表内容。图12 智能报表效果单击右侧的“保存”保存智能报表。输入仪表板的名称,单击“确定”保存成功。也可通过单击“保存并发布”,保存并发布仪表板。发布后支持预览仪表板。步骤5:查看/预览仪表板查看仪表板要查看的仪表板必须是已经发布的仪表板,未发布仪表板不具有查看的功能。在所创建的项目下,单击数据分析下的“仪表板”,进入仪表板页面。在仪表板页面,选择对应的仪表板单击操作列下的“查看”,就可以查看新建成功的仪表板。图13 查看仪表板预览仪表板在仪表板页面,选择对应的仪表板单击操作列下的“预览”,就可以预览仪表板。图14 预览仪表板
-
认识DataArts Insight官网开发者论坛成长地图LINKLINKLINK大数据初学者了解产品入门操作指导用户指南LINK仪表板搭建新建数据源大屏制作搭建数据集搭建仪表板搭建数据大屏数据分析师数据源相关数据集相关仪表板&大屏新建数据源创建数据集新建仪表板数据源授权自定义SQL仪表板控件多表关联建模新建数据大屏开发工程师开发指南API参考LINKLINK专题学习建设中,敬请期待交流平台公众号
-
根据您的角色推荐了不同的文档,从而帮助您更快速、更轻松地使用智能数据洞察(DataArts Insight)服务。如果您是初学者如果您是大数据初学者,建议您先熟悉以下模块,了解DataArts Insight的基本功能和常用操作。模块说明产品介绍DataArts Insight服务的介绍文档,从服务的常用概念、产品优势、应用场景、计费说明、权限管理等多个方面进行介绍,让您初步了解数据洞察服务。快速入门DataArts Insight服务的快速使用指导,通过一些示例指导您快速完成仪表板搭建、大屏制作的入门操作。用户指南介绍链接数据源、搭建数据集、搭建仪表板和大屏的相关操作指导。如果您是数据分析师如果您是数据分析师,建议您先熟悉以下模块,掌握DataArts Insight支持的基本功能,帮助你快速上手分析业务数据。组件模块说明数据源相关数据源连接数据分析人员分析的基础是数据源。当前DataArts Insight支持接入大数据平台、文件数据源、API数据源,并且支持可靠安全的数据连接方式,为数据分析人员提供丰富多种的数据源,有效的提高数据分析人员的分析效率。数据源授权DataArts Insight支持将数据源的编辑和使用权可以授权给其他的用户或用户组,当存在多个用户使用该数据源时该功能可以提高数据源的利用效率。数据集相关创建数据集DataArts Insight数据集是可视化分析的基础,您可将需要分析的数据源创建维数据集,DataArts Insight支持可视化配置或自定义SQL方式创建数据集。自定义SQL在数据分析中,一些复杂的逻辑或模型可通过自定义SQL创建数据表。并且自定义SQL支持变量设置,可满足更复杂多变的分析场景。多表关联建模在数据分析时,当需要分析的数据存储在不同的表,您可以通过数据关联,把多个表连接起来,形成模型进行数据分析。DataArts Insight支持左外连接(LEFT JOIN)、内连接(INNER JOIN)、右外连接(RIGHT JOIN)三种连接方式。仪表板相关新建仪表板DataArts Insight提供了多种图表样式,覆盖了表格、线图/面图、柱状图/条形图、指标图4大类分析图表,满足您灵活多样的可视化分析需求。当前报表默认展示在仪表板中。仪表板控件DataArts Insight提供了多种类型的仪表板控件供新建数据表时按需选择使用。大屏相关新建数据大屏数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待,是DataArts Insight分析场景的重要组成部分,致力于满足企业高可视化要求的数据展示场景。如果您是开发工程师如果您拥有一定的开发经验,想要基于DataArts Insight现有能力进行更复杂的数据分析和开发,建议您学习和掌握以下功能模块。模块说明开发指南提供样例开发样例,您可以基于DataArts Insight API进行二次开发,构建自己的应用。API参考您可以调用DataArts Insight提供的API接口完成数据分析等业务操作。
-
数字机器人网页拾取数据时好微妙啊,比如网页文件,有些列表只能拾取前10个大概,想选后面的,就没有相似元素。始终无法选到所有的文本。有些python代码都能把元素选出来,用机器人工具就是选不出来。比如:"xpath": [ "//html/body/div/div/div/main/div[6]/div/div/div/div[2]/div/div/div/div/div/div/div/div/div[2]/div/div/span/div/span/span", "//html/body/div/div/div/main/div[6]/div/div/div/div[2]/div/div/div/div/div/div[3]/div/div/div[2]/div/div/span/div/span/span"这个可以识别。这个就无法识别:/html/body/div[1]/div[1]/div[1]/main/div[6]/div/div/div/div[2]/div/div/div/div/div[5]/div[9]/div/div/div[2]/div[1]/div/span/div/span/span。下面是我自己写的代码,用python执行没问题,但是使用【网页数据拾取】就不行,真不知道改修改拾取规则。/html/body/div[1]/div[1]/div[1]/main/div[6]/div/div/div/div[2]/div/div/div/div/div/div/div/div/div[2]/div[1]/div/span/div/span/span修改成上面的代码,会报错。知道的能回复一下不
-
求助一下:我这边使用华为SMC2.0的IPV6,现在对接需要VDM授权,请问这个授权应该怎么弄?
-
我这边应用的是HUAWEI-SMC2.0的IPV6,现在需要对接电视图像台,请问这个的I帧接口是什么那?
-
大会介绍:5月27日-28日,GOTC 全球开源技术峰会((Global Open-source Technology Conference)在上海张江科学会堂成功举办。 GOTC是由上海浦东软件园、开放原子开源基金会、Linux 基金会亚太区和开源中国联合发起的,面向全球开发者的一场盛大开源技术盛宴。 本届大会以“Open Source, Into the Future”为主题,国际开源大咖、专家学者和产业代表齐聚一堂,超 1500 人现场参会, 540 万+人次线上直播观看,全网曝光量达3 亿+( 数据来源:CNCF),共同探讨开源未来,助力开源发展。议题分享:Istio Ambient Mesh Present and Future讲师介绍:华为云云原生团队开源技术专家徐中虎议题简介:在“Cloud Native Summit”云原生分会场,华为云云原生团队开源技术专家, Google Open Source Peer Bonus获得者徐中虎介绍了当前 Istio 社区最热门的新技术Ambient Mesh, 并从功能、安全、资源开销等多方面与Sidecar模式对比,以辨证的角度分析Ambient Mesh对一些典型场景会非常有力,但它的发展距离生产可用,还有一段挺长的距离。点击视频观看本次分享精彩回放,添加小助手微信k8s2222回复Istio,进入技术交流群video
-
什么时候能用上盘古啊,怎么预约名额。
-
0 引言隐私计算作为一种助力实现“数据可用不可见”的关键技术,在近几年受到了越来越多的关注,相关技术产品百花齐放、行业生态建设如火如荼。从技术发展的角度看,隐私计算之所以如此火热,主要在于它改变了传统的数据流通形态,增强了数据流通的可控性,在一定程度上回避了数据权属与安全保护争议,为数据要素流通提供了新模式[1]。在推广隐私计算落地应用的过程中,不同技术厂商提供的产品和解决方案在设计原理和功能实现之间存在较大差异,使得部署不同技术平台的数据流通参与方之间无法跨平台完成同一个计算任务。为实现多个合作方之间的数据融合,用户往往要付出极高的沟通成本以协调产品选型方案,甚至不得不部署多套产品以逐一适配,造成重复建设。作为促进跨机构间数据共享融合的关键技术,隐私计算有望成为支撑数据流通产业的基础设施,但高额的应用成本不利于隐私计算技术的推广应用,解决不同产品之间的技术壁垒,实现隐私计算跨平台间的互联互通已成为产业内的迫切需求。推进隐私计算的跨平台互联互通需要关注哪些问题和要点?本文拟从以下六个方面展开讨论。1 隐私计算跨平台互联互通的需求数据资源只有经过“流通”,脱离了原有使用场景,从数据产生端转移至数据应用端,并在生产经营活动中产生效益,才能真正释放其作为生产要素的市场价值[2-3]。在数据权属界定规则缺失、安全合规风险加剧的当下,众多数据从业者选择隐私计算作为探索数据流通新模式、新形态的突破口。隐私计算已经成为了当前数据流通领域最火热的一类技术,但在技术推广的过程中,不同隐私计算技术平台之间无法互联互通成为了制约产品落地应用的一个关键阻碍。1.1 助力多方数据融合降本增效的市场用户需求作为一类助力数据流通的工具,产品的可用性、易用性、好用性决定着隐私计算技术价值发挥的范围和程度。在此前几年的时间里,国内技术提供者们已经在提升产品的可用性和易用性方面取得了一定的进展。根据中国信息通信研究院云计算与大数据研究所和隐私计算联盟工作中的调研交流和产品评测结果[2],可以发现在算法、算力、硬件的协同优化之下,行业内整体的技术产品性能已可以满足用户业务的基本需求,并且还将持续优化以促进隐私计算在更多需求场景中可用;同时,越来越多的技术厂商可以提供多版本、轻量化等方式来提升用户部署的便捷性,并配合模块自定义、组件拖拉拽等设计来满足用户的个性化需求,提高产品的易用性。进一步地,在如何提升产品好用性、促使产品与用户实际业务场景友好适配这个层面,隐私计算技术平台之间的互联互通就成为了关键话题。目前,市场上已经发布了近百款隐私计算产品,且仍有许多企业和机构正在研究和开发。而不同产品均有各自特定的算法原理和系统设计,产品之间(甚至同一产品的不同版本之间)的技术差异使得彼此很难兼容、无法互通。因此,参与联合计算的用户只能在部署相同产品的情况下才能实现多方数据合作。为了满足这一条件,单一用户往往要部署多套产品以满足不同合作方的需求,这极大地增加了用户的使用成本,也阻碍了隐私计算技术的推广落地。1.2 打造数据流通基础设施关键底座的产业需求跨行业、跨机构的数据融合在金融、电信、医疗、政务、广告营销、智慧城市等诸多场景都有着广泛的需求。但由于国内对于数据流通使用的监管要求趋严,且尚未出台具有指导性的实施细节指引,相关企业和机构参与数据流通时既有顾虑也有困惑,无疑阻碍了数据资源的充分流通,不利于数据要素市场的培育。而隐私计算技术正在以一种不交互原始数据,只流通数据使用价值的方式,推动着传统数据流通模式和流程的变革,有望成为全社会数据流通网络的支撑型基础设施。但是现阶段,隐私计算整体的技术能力和应用模式还不成熟,实现目标仍有距离。以当前在金融场景的应用模式为例,金融机构往往都需要依靠多方来源的外部数据来支撑其对于诸多业务的风险控制,这些外部数据可能包括专业数据服务商提供的公共市场信息、政府公共部门提供的客户基础信息、征信机构提供的客户征信数据以及运营商、互联网平台、电商平台等提供的更多替代数据等。参与其中的银行、运营商等大型机构很多已经部署或开始试点各自的隐私计算平台,面对多机构之间的数据资源合作需求,往往会在反复沟通后由相对强势的机构要求使用特定的隐私计算平台进行合作。以此类推,如果在各个应用场景中,合作机构之间都要就使用特定技术产品达成共识,长此以往,市场就会衍生出一个个基于相同的隐私计算平台捆绑形成的小生态,而各个生态之间仍旧相互孤立。那么,隐私计算在破除机构间“数据孤岛”问题后,将催生一个个新的“数据群岛”,与技术本身促进数据流通的使命相背离,无法支撑建立面向全社会的数据流通网络。因此,隐私计算平台之间的互联互通已成为技术产业进一步发展中亟需解决的问题。2 隐私计算跨平台互联互通的内涵解决隐私计算跨平台互联互通问题的核心基础,是理解它的概念内涵。(1)什么是“互联互通”? 这个概念最早是美国电信领域在1934年提出的,本意是两个通信网络之间是否能够兼容,而在当下这一概念逐渐演变为不同组织、不同场景、不同系统之间在平台“互操作”与数据“可携带”等方面的问题。(2)互联互通的客观对象是什么? 隐私计算跨平台互联互通的最根本需求来自于部署了不同产品的用户,这里的“不同产品”既可能是不同技术厂商提供的多个产品,也可能是相同厂商相同产品的不同版本。进一步地,与其说是不同产品间互联互通,不如说是用户部署不同技术产品后的一个个平台实例。(3)互联互通的目标形态是什么? 用户的最终诉求是希望在部署不同产品后,仍可以实现各自持有的数据在不同底层技术平台之前间仍可以流畅传输、交互、融合,协同完成计算任务。因此,隐私计算跨平台互联互通的目标形态是具有不同系统架构或功能实现方案的隐私计算技术平台(包括同一平台的不同版本)之间通过统一规范的接口、交互协议等实现跨平台的数据、算法、算力的互动与协同,以支持部署不同技术平台产品的用户共同完成同一隐私计算任务。相比之下,实践中部分针对多个不同产品之间部署于统一大平台以支持用户灵活选择任一产品执行任务的探索,更贴近于对于不同提供方隐私计算能力模块的集成,而非真正的跨平台互联互通。3 隐私计算跨平台互联互通的难点隐私计算技术原理本就复杂,而异构隐私计算平台间的互联互联不仅要能够实现复杂的隐私计算原理,保证平台原有功能的实现,还要提供足够的包容性,考虑到不同平台设计的复杂差异。3.1 不同隐私计算核心技术路线之间存在天然壁垒隐私计算并非一项单一技术,而是一个包含多种技术的复杂体系。例如,以密码学为核心原理的多方安全计算类产品、以安全硬件为核心原理的可信执行计算类产品和以“数据不同模型动”为核心思想的联邦学习类产品之间,技术实现的最底层思路就有着天壤之别,这种技术上的差异性为现阶段讨论隐私计算互联互通带来巨大挑战[4]。3.2 算法的实现方案复杂多样隐私计算最核心和最关键的就是算法,但每个算法在从设计到实现上经过多个环节,涉及诸多细节。在基础原理上,即使是同一算法从实现原理上也可能有多种不同的实现方案。例如,基于不经意传输和基于同态加密的方案都是从密码学原理出发的,但实现方案却无法兼容。在工程优化上,对于同一密码学协议下的相同算法,不同的设计者也可以选择不同的加速器进行优化,差异依然明显。进一步地,在不同的计算架构设计下,计算方数量也会不同,是否由中间协调方参与、计算方和数据方之间是否独立也会对算法执行产生不同影响。3.3 不同技术提供者在平台应用管理的设计各不相同除了核心算法之外,一套完整的隐私计算平台还包含资源授权、任务管理、任务编排、流程调度等相关的控制管理功能,且不同平台整体的系统架构也是结合各自的研发思路和应用侧重来设计实现的,跨平台任务的执行需要适应不同平台的这些设计。因此,基于不同隐私计算平台共同完成同一计算任务,就必须要解决基础功能和算法实现如何在不同平台上兼容和适配的问题。3.4 技术提供者之间相互适应的驱动力不足除了技术产品设计本身的复杂性之外,技术提供者们的驱动力不足也会对实现互联互通产生障碍。无论是技术路线的选择、核心算法的设计和基础功能的实现,都是各个隐私计算技术提供者最核心的设计思想和知识产权,实现互联互通的过程中势必会存在一定的相互迁就与妥协,损失产品原有的个性化。现阶段,在隐私计算的应用探索仍在推进,用户增量不断,因此在进入存量竞争之前,跨平台互联互通对于技术厂商而言并非“刚需”。因此,已有的探索实践大多是用户侧推动的。4 隐私计算跨平台互联互通的实现路径4.1 隐私计算跨平台互联互通应满足的特性考虑到现有隐私计算技术产品之间存在较大的差异性和商业驱动力的现状,若要实现不同技术产品间的协同,就不能要求所有产品同质化、统一化,必须尊重各平台本身的设计思路和理念,在保证各隐私计算技术平台的独立性、完整性和安全性的基础上对实现互联互通的最基础环节求同存异。因此,隐私计算跨平台互联互通的实现方案应该满足以下特性。一是互通性。即不同技术平台间应支持通用、规范的通信接口和互联协议,能够进行跨平台的通信、数据交换、互联操作和状态同步。二是平台自治性。即各平台均应为自治系统,保留对各自平台设计的独立性和个性化,自主管理平台内部的任务协同与资源配置,在参与跨平台互联互通任务时,无需暴露内部的私有协议、模块设置和架构细节。三是正确性。即跨平台互联互通完成的隐私计算任务与各平台独立完成的隐私计算任务结果保持一致,或偏差在不影响应用的范围内。这是隐私计算技术产品的最基础的功能要求。四是安全性。即不同平台间的交互和协同应通过统一的安全通信机制、认证与授权机制、安全模型假设等保障跨平台互联互通的通信安全、应用安全、算法协议安全。这是隐私计算技术产品的最关键的应用要求。五是易扩展性。即不同平台间的互联互通应支持较为灵活的加入或退出,可以随着技术发展适配更多新的隐私计算功能实现方案,实现有机扩展。这要求互联互通方案能够包容和应对未来技术发展带来的挑战。4.2 隐私计算跨平台互联互通的实现思路而具体如何实现互联互通,可以对其他技术或行业应用场景中的互联互通经验进行参考和借鉴。比如互联网数据传输场景中的TCP/IP协议、银联银行卡跨行交易的通用报文协议、国内外物联网的跨平台接入协议等都是通过制定系列标准化的协议,约定不同的设备如何组织和接入同一网络并进行数据交互。其中,互联网通过多层次的协议设计连接多设备、多网络的成功经验可以为通过隐私计算串联起的数据流通网络提供较多参考,隐私计算跨平台的互联互通也可以拆解成底层的通信、逐步上升到传输交互和顶层应用,通过逐层定义共识性的技术标准,最终实现规范流畅的跨平台协作。以相关经验为参考,隐私计算跨平台互联互通的实现路径可以从“底层通信—中间层交互—顶层应用”的思路出发进行设计。通信层需对平台间选择的通信框架、通信接口、数据格式、传输机制等内容进行规范;交互层可以从节点、资源和算法执行三个维度进一步约定在跨平台交互过程中在发现、认证、申请、授权、连接调用、信息和状态同步等环节的规范流程和要求;而应用层则是在规范通信要求和互联协议栈的基础上定义跨平台隐私计算任务实现过程中的协同管理要求和具体场景的实现流程,既包括对跨平台任务编排、调度、执行、监控和存证等方面的统一规则,也包括不同类型计算任务的实现流程的约定。5 隐私计算跨平台互联互通的探索进展自2021年开始,很多隐私计算技术提供者和应用侧都开始推进跨平台互联互通的尝试,提出了不同的思路和方案,也取得了一定的进展。中国电信翼支付的隐私计算技术团队通过引入中间件和区块链智能合约的方式实现了自研Priv Torrent隐私计算平台和FATE开源框架的对接[5]。基于中间件对交互过程中报文的转换实现异构平台节点识别、算法数据报文重构、任务事件转发和任务状态同步;基于区块链的智能合约实现两个平台间底层通信、交互标准以及报文分类和内容(包括过程数据、任务状态和执行结果)的统一。这个方案提供了一种相对低耦合、易扩展的解决思路,中间件可以灵活部署在任意节点,而区块链可以进一步地支持对任务的审计溯源。但是这一方案也存在局限性,一是平台的原生内核限定在FATE框架,二是需要以隐私计算与区块链的耦合作为前提。富数科技和微众银行在2021年4月宣布突破了隐私计算跨平台、跨架构的互联互通难题,双方团队按照认证、管控、计算三个主要流程,抽象出节点、数据、算法组件、计算任务、存证、认证六大对象模型,提出了从节点互相发现、资源互相共享到算法组件跨平台迁移部署再到计算任务跨平台执行的三阶段思路。类似于这一思路,洞见科技、锘崴科技和蚂蚁集团共享智能部在2021年8月宣布联合攻关完成了具体互通协议流程的架构设计和落地实现。在第一层次统一了节点发现、业务流程对接、资源信息定义和管理的规则之上,进一步实现了三个平台各自独立设计和开发的算法插件可以直接在另两方的平台上运行,并与其他参与方协同完成计算任务的执行和结果输出。这类方案无需引入中间件或其他系统,可以较大程度地保留各自平台算法功能的独立设计,与本文讨论的实现路径基本一致,但是除了算法功能之外,各个技术提供者对于底层通信框架、上层工程化方案的设计仍有诸多坚持,若要取得大范围的行业共识仍有较大难度。除了以上实施案例之外,华控清交与星云Clustar、矩阵元、冲量在线等技术厂商也宣布建立战略合作探索隐私计算跨平台互联互通。参考互联网中自治系统、边界网关协议和TCP/IP协议的设计思路,华控清交提出了一种定义跨域数据交换(Inter-Domain Data Exchange,IDDE)协议实现互联互通的思路。将不同的隐私计算平台视为独立的自治系统(AS),并参照TCP、UDP和IP协议向上可满足多类应用、向下可兼容多种底层物理通信机制的思路,来规范IDDE中的核心协议。其中,IDDE协议包含控制面、数据面两部分,控制面对节点、资源的信息和任务调度、存证等内容进行规范;数据执行层则负责规范在各隐私计算平台中执行已编排的计算过程。6 隐私计算跨平台互联互通的未来推进思路当前,从标准体系层面对利用隐私计算跨平台互联互通的具体方案进行规范势在必行,包括中国信息通信研究院云计算与大数据研究所牵头的隐私计算联盟、大数据技术标准推进委员会(TC601)、全国信息安全标准化技术委员会(TC260)、京金融科技产业联盟等在内的标准化组织和研究机构都在推进相关技术标准的研讨和编写。但是,隐私计算的跨平台互联互通不只需要在技术层面进行攻关,更需要在商业层面继续突破。因此,相关标准规范体系不能只停留在标准文稿制定层面,等待由统一的规则指导实施,还必须从实践中汲取经验,推广运营事实标准,由正式标准在原则要求层面对事实标准进行引导,由事实标准从实际业务场景中对正式标准进行细化完善,双管齐下,最终在技术方案选择、跨平台协同和具体应用实施的各个环节给出具有普遍共识的、可落地执行的细节指引。7 结束语现阶段,隐私计算技术发展尚未完全成熟,对于如何将复杂的技术原理转化为商业化的产品实现已经是百家争鸣,而对于如何将不同技术方案串联起来协同应用于数据互联互通的实际场景,仍有众多观点在持续探讨。在技术发展过程中,只要行业保持对于各类观点思路的开放包容,并坚持通过广泛交流和探索来挖掘最佳实践,相信隐私计算的跨平台互联互通难题也能尽快得到突破。参考文献[1] 李凤华, 李晖, 贾焰, 等. 隐私计算研究范畴及发展趋势[J]. 通信学报, 2016,37(4):1-11.[2] 王思源, 闫树. 隐私计算面临的挑战与发展趋势浅析[J]. 通信世界, 2022(2):19-21. DOI:10.13571/j.cnki.cww.2022.02.007.[3] 闫树, 吕艾临. 隐私计算发展综述[J]. 信息通信技术与政策, 2021,47(6):1-11.[4] 徐葳, 王云河, 靳晨, 等. 基于隐私计算的数据流通平台互联互通思考[J]. 金融电子化, 2021(9):72-73.[5] 徐潜, 章庆, 喻博, 等. 基于中间件与区块链的异构隐私计算平台互通系统研究[J]. 信息通信技术与政策, 2021,47(6):38-49.文章转自中国信通院CAICT公众号:文章链接
-
数据作为继土地、劳动力、资本、技术后的新型生产要素,是建设数字中国的重要引擎。我国高度重视数据的发展和应用,为推进数据基础制度建设,统筹数据资源整合共享和开发利用,拟组建国家数据局。数据的重要性不言而喻。然而在数据流通应用的最后一公里,业界往往会遇到一些难题。例如,企业主体在共享数据、发挥数据价值过程中可能面临数据泄露等安全问题。机构、企业如何在数据安全、隐私保护的前提下进一步促进数据要素高效流通使用,成为了数字化转型过程中的必答题。隐私计算:数据安全流通的关键技术数据是企业数字化转型的基础,当企业进行数字化转型时,其实也是释放数据价值的过程。但受制于数据的高度分散性,企业往往缺乏安全有效的数据流通手段,导致“数据沉睡”和“数据孤岛”现象,很难将数据直接转化为数据资产,无法发挥数据价值。另外,由于数据本身属性较特殊,含有敏感信息的数据在不同系统间流通时往往面临数据滥用、信息泄漏等安全风险。为克服这两大难题,隐私计算应运而生。从广义上讲,隐私计算是面向隐私保护的计算系统与技术,涵盖数据的产生、存储、计算、应用、销毁等信息流程全过程,其目的是帮助用户构建可信的数据流通价值链,让各方可以把自己的数据在自己的信任域中进行可信计算,再将结果加密汇聚起来进行整合计算,实现“数据可用不可见,可控可计量”。因此,隐私计算是当前数据流通过程中让敏感信息不泄露的有效手段,目前已广泛应用于金融、政务、医疗、能源、制造等领域。回顾隐私计算的发展历程,可分为四个阶段:萌芽期(1949年-1981年):1949年,劳德·香农发表论文《保密系统的通信理论》,被认为是现代密码学时代的开端。随后同态加密、秘密分享、不经意传输、多方安全计算等技术被提出,为隐私计算的发展奠定了坚实的技术基础。探索期(1982年-1999年):混淆电路、基于密令分享的MPC、半同态加密、联邦学习等陆续出现,隐私计算的技术栈逐渐丰富,在姚期智院士解决了百万富翁不泄密比富问题后,隐私计算技术在算法层面上的可行性得到解决。成长期(2000-2018年):随着全同态加密、联邦学习、纵向联邦学习、TEE方案框架等逐渐落地,隐私计算进入高速发展阶段。应用期(2019年开始):隐私计算开始广泛和行业结合,逐渐落地应用。同时各国重视数据安全和个人隐私保护,陆续出台相关政策。该阶段涌现众多隐私计算厂商,不断探索应用基于隐私计算技术的数据流通产品。据《Gartner 2022 隐私技术成熟度曲线》报告显示,预计在未来5~10年内,隐私计算技术会被大规模商业化应用。预计到2025年,60%以上的大型组织将在数据分析、商业智能或云计算中使用一种或多种隐私计算技术。在最新印发的《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》(简称“数据二十条”)中也提到坚持数据共享共用,释放价值红利,强化优质供给,促进合规流通。可见,隐私计算不仅发展前景广阔,而且已上升至国家层面,成为数据安全流通的关键技术。兼顾数据应用与安全,华为云TICS有最优解自2019年起,在充分洞察市场需求、历经两年的产品迭代和严格安全合规检查之后,华为云可信智能计算服务TICS(Trusted Intelligent Computing Service)正式对外发布。华为云可信智能计算服务TICS基于华为可信流程打造,融合了可信执行环境TEE、安全多方计算MPC、联邦学习、区块链等技术,可以有效打破数据孤岛,实现数据在流通、计算过程中全链路的安全保护和审计回溯,构建可信数据流通价值链,帮助政企等行业打造数据融合应用,安全释放数据价值。目前,该服务已通过信通院和人民银行金标委等权威机构在联邦学习、安全多方计算、可信执行环境等方向的认证,为政府、金融、消费、医疗、工业等领域提供一站式隐私计算平台,帮助找到数据应用兼顾安全的最优解。当前隐私计算技术主要分为三大方向:第一类是以多方安全计算为代表的密码学路径;第二类是以联邦学习为代表的人工智能路径;第三类是以可信执行环境为代表的路径。为了保证数据安全和隐私性,并完成数据计算和分析,这些技术往往组合使用。华为云可信智能计算服务TICS融合贯通这三条技术路径,因此它并不是只运用关注单一方向的技术,而是一套理论框架和技术体系,综合运用了大数据、密码学、人工智能、区块链、安全容器等多个领域的成果。华为云TICS产品专家向CSDN介绍,TICS拥有以下优势:一是高安全。华为在ICT领域深耕30多年,一直把“安全”视为华为公司的最高纲领和生命线。它不仅仅是一项技术,更是一种管理和设计理念,将贯穿华为产品的全流程设计当中。因此从华为云可信智能计算服务TICS设计伊始,便将“安全”放在第一位,在覆盖MPC、TEE、联邦学习、区块链等隐私保护核心技术栈的同时,将安全“左移”——即把安全程序(代码审查、分析、测试等)移动到软件开发生命周期的早期阶段,帮助防止问题产生、及时发现漏洞。此外,华为云可信智能计算服务TICS还拥有安全算法协议等,可端到端保护数据安全和隐私。二是高性能。华为云可信智能计算服务TICS基于全生命周期的技术优势及安全协议与建模算法深度协同优化,突破了多方安全计算和联邦学习性能瓶颈,与业界相比性能提升30%左右。三是高可用。云服务商若仅提供能力分散的隐私计算能力,远远不足以让企业应对复杂的隐私安全计算业务诉求。在企业业务场景当中,华为云可信智能计算服务TICS以业务场景匹配最佳隐私保护技术为目标,通过一站式隐私保护技术组合来匹配企业各类落地场景,推动隐私计算技术的快速落地。此外,在技术应用上,通过业界首创的基于标准SQL的多方安全计算关键技术,华为云可信智能计算服务TICS更贴近用户使用SQL的习惯,从而降低多方安全计算的开发成本。四是规模组网和弹性扩容能力。可信数据流通好比高速货运物流,数据流动也需要数据的“高速公路”,需要庞大的数据流通基础设施,支持快速接入异构数据源,支持分布式组网,搭建超大规模的数据网络等。基于华为云体系丰富的基础设施能力,华为云可信智能计算服务TICS已具备规模的组网能力,支持弹性扩容和良好的可维护性。值得一提的是,华为云可信智能计算服务TICS不局限于隐私计算,而是围绕隐私计算+可信交换技术,打造成一站式的可信数据流通平台,构建可信数据流通端到端解决方案。在可信交换方向,布局数据胶囊技术,实现数据的“可用、可控、可证”。在机密计算方向,与华为云擎天Enclave进行深度协同,实现“安全计算+性能加速”。在MPC方向,持续投入开源算法优化和技术自主可控,并持续提升产品安全性和易用性。为企业数据安全流通保驾护航2020年,被称为是隐私计算“技术元年”;2021年,为隐私计算的“应用元年”;如今,隐私计算已走向大规模落地阶段。华为云可信智能计算服务TICS通过丰富的技术积累,为企业数据安全流通保驾护航,提供数据融合应用和价值释放的最优解。在小微企业融资场景中,银行需要在全面地对企业信用进行“精准画像”之后,方可发放信用贷款,涉及财政、税务、法院、燃气、水务、供电等数据。然而,这些数据往往分布在不同的委办局,且各委办局之间通常无法直接共享数据,需要业务员逐个进行申请、协调与沟通。信用数据共享的堵点未疏通,小微企业融资困难的问题就无法缓解。华为云TICS可信智能计算服务通过联邦SQL和多方安全计算技术,可以对给委办局的数据实现加密协同与调用,让“数据可用不可见”,实现全流程的隐私保护。此外,华为云通过区块链技术,可以实现全流程的可视化和审计溯源,实现问题可追责。在普惠医疗场景下,尽管当前医疗数字化水平不断提升,但医疗“数据孤岛”问题始终存在:海量的医疗健康数据分散在各医疗、社保、研究中心等机构,因受政策、法规的约束而无法得到高效流通、安全共享,难以形成合力来创造出更大的研究价值。这将阻碍医学研究、临床医疗的进步。对于诊疗水平相对低的区县医院而言,健康数据样本数更少,长此以往将造成医疗的不均衡、不公平现象。华为云可信智能计算服务TICS助力医疗机构构建起可信数据流通的“基础设施”。通过联邦学习技术,华为云让诊疗数据不出医院,在本地分析计算后,将生成的模型参数汇聚起来,进行统一联合学习建模,即“数据不动计算动”。通过这种方式将各家医院、社康中心,还有外部合作方的样本进行统一建模,将结果反哺给各参与方,同时减少数据流通繁杂流程,降低数据使用审核成本,提高协作效率,实现普惠医疗与精准医疗。此外,在南方某省,华为云可信智能计算服务TICS助力搭建起省级公共数据流通平台,当前已接入普惠金融、危化品监管、信用评估三大业务场景,未来预计每年约有100个单位陆续接入流通平台,实现更多业务场景落地使用。华为云可信智能计算服务TICS产品专家表示,搭建数据流通的“基础设施”像修建高速公路一样,需要快速接入、快速运营、快速处置、快速全流程监控,保持畅通,因此基础设施搭建能力是非常重要的。华为云可信智能计算服务TICS通过搭建可信数据流通平台来解决可信交换和“原始数据可用不可见”难题,再结合华为云提供大规模基础设施搭建能力,帮助快速接入数据的“高速公路”,安全合规运输数据。数据的汇聚和治理是实现安全可信流通的必要路径毋庸置疑,数据安全可信流通是不仅是新时代企业高质量发展的关键,也是国家加快建设数字中国、切实保障国家数据安全的前提。值得一提的是,华为云产品专家还认为,数据的汇聚和治理是实现安全可信流通的必要路径。回顾国内数据应用的发展历程,最开始是谁获得数据,谁就能获得价值。然而随着数据安全法律法规的逐步健全,行业对数据加工能力的要求大幅提高,最初始的野蛮开采的时代一去不返。与石油类似,如果不加以提炼,数据将无法发挥其原有的价值。在数据治理过程中,企业面临诸多挑战,数据加工流程由数据生成及采集、数据传输、数据存储、数据使用、数据溯源与审计等环节组成,即企业需要具备对数据“采、存、算、管、用”全生命周期的管理能力,才能让高质量的数据可信流通和共享交换。然而这些数据治理的过程中,涉及众多复杂系统架构,技术门槛较高,如果要组建相关大数据团队的话,用人成本较高。华为云在数据领域十多年的研发与投入,已沉淀出丰富的全生命周期数据治理能力。去年,华为云推出数据治理生产线DataArts,提供一系列的工具和平台,有效帮助企业进行数据接入、数据开发、数据治理、数据资产管理、数据安全计算、数据共享、数据应用等。DataArts如一条繁忙的数据生产线,海量的数据经过它可提炼为高质量的数据,进而帮助企业实现数据驱动智能决策,充分释放数据价值。上文提到的华为云可信智能计算服务TICS是DataArts关键的组成。另外,DataArts和华为云AI开发生产线ModelArts架构融合,彻底打通了大数据和人工智能,实现数智融合,让人工智能反哺数据 , 使得全流程实现自动化与智能化。CSDN认为,从TICS到DataArts再到ModelArts,华为云积极创新数字技术,不断挑战和打破数据领域技术的天花板,降低数据开发和使用门槛,帮助更多企业实现数据驱动智能决策,决胜数字时代。文章转自CSDN公众号:cid:link_0
-
在语音分类方面最近想要在小数据集上进行一些改进,看论文的时候看到了类间学习(between-class learning),感觉是一个解决小数据集的有效方法,但是搜索对应的文献的时候发现研究使用的并不多,想问一下各位有了解这个数据混合策略的么,为什么使用的并不多?
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
去报名 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签