• [技术干货] 隐私计算技术是什么?它是怎样保护我们的隐私安全?
    文章转载自《【云驻共创】隐私计算技术是什么?它是怎样保护我们的隐私安全?》https://bbs.huaweicloud.com/blogs/349993作者: feifei_active一、隐私安全保护面临的挑战数据在为人们的生活带来了种种便利的同时,也使得大家对个人数据隐私和安全产生了担忧,这俨然已经成为世界性的问题。如何才能在遵循法规的要求下,既充分发挥数据的价值,同时又不会影响到用户的数据隐私和安全?尤其是对于依赖外部数据的企业来说,如何能够合理利用合作伙伴的数据价值,又不会见到原始数据以至于造成数据泄露?这就对企业利用数据开展业务提出了一个挑战。近年来隐私计算技术发展迅速,它作为赋能数据流通的核心技术之一,将成为数据流通服务的底层基础设施,为数据流通创造条件并守护数据隐私和安全。二、隐私计算技术概念及技术路线隐私计算是涵盖了众多学科的交叉融合技术,是一种包含了安全多方计算、同态加密、差分隐私、零知识证明、联邦学习以及可信执行环境等主流技术子项的相关技术合集及产品方案。因为隐私计算技术和方案的种类较多,为了便于理解和分类,业界通常将上述技术分为三大路径:以安全多方计算为代表的密码学路径、以可信任执行环境为代表的硬件路径和以联邦学习为代表的人工智能路径。下面简单介绍一下这3个路线的区别和联系。 1、安全多方计算(MPC)安全多方计算(Secure Multi-party Computation, MPC)是一种密码学领域的隐私保护分布式计算技术。安全多方计算能够使多方在互相不知晓对方内容的情况下,参与协同计算,最终产生有价值的分析内容。实现原理上,安全多方计算并非依赖单一的安全算法, 而是多种密码学基础工具的综合应用,包括同态加密、差分隐私、不经意传输、秘密分享等,通过各种算法的组合,让密文数据实现跨域的流动和安全计算。本文第三部分会简单介绍其中的部分算法,来阐述其具体保护原理。下面是安全多方计算的其中一种简单实现方案示意图:2、联邦学习(FL)联邦学习(Federated Learning, FL)又名联邦机器学习、联合学习。相比于使用中心化方式的传统机器学习,联邦学习实现了在本地原始数据不出库的情况下,通过对中间加密数据的流通和处理,来完成多方联合的学习训练。它一般会利用分布式数据来进行本地化的模型训练,并通过一定的安全设计和隐私算法(例如同态加密、差分隐私等), 将所得到的模型结果通过安全可信的传输通道,汇总至可信的中心节点,进行二次训练后得到最终的训练模型。由于密码学算法的保障,中心节点无法看到原始数据,而只能得到模型结果,因此有效地保证了过程的隐私。联邦学习和多方安全计算的区别,主要在于应用场景有较大不同。因此联邦学习的实现主要“面向模型”, 其核心理念是“数据不动模型动”,而多方安全计算则是“面向数据”,其核心理念是“数据可用不可见”。  3、可信任执行环境(TEE)可信任执行环境(Trusted Execution Environment, TEE)指的是一个隔离的安全执行环境,在该环境内的程序和数据,能够得到比操作系统层面(OS)更高级别的安全保护。其实现原理在于通过软硬件方法, 在中央处理器中,构建出一个安全区域,计算过程执行代码TA(Trust Applition)仅在安全区域分界中执行,外部攻击者无法通过常规手段获取和影响安全区的执行代码和逻辑。同时计算数据通过相关密码学算法加密,来保证数据只能在可信区中进行计算,其简单实现示意图如下所示:可信执行环境和前文提到的两种技术路线的区别, 在于不需要依赖过多复杂的密码学算法,因此计算效率高,且能够实现的计算逻辑更加丰富。上述三者的详细区别和联系参见下表:技术路线核心思想数据流动密码技术硬件要求安全多方计算MPC数据可用不可见信任密码学原始数据加密后交换同态加密、差分隐私、秘密分享等通用硬件联邦学习FL数据不动模型动信任密码学不交换原始数据不经意传输、秘密分享、同态加密、差分隐私等通用硬件可信执行环境TEE数据可用不可见信任硬件原始数据加密后交换非对称加密算法基于可信技术实现的可信硬件三、隐私计算底层应用的密码学算法 隐私计算三大技术路径中,除了可信任执行环境代表的硬件路径外,其他两个技术路径均用到了多个复杂的密码学算法,各算法在使用目的和手段上均有不同。这里简单介绍3种常用的密码学算法,方便大家初步认识这些算法是如何保护数据和隐私安全的。 1、同态加密(HE)同态加密(Homomorphic Encryption, HE)指的是能够直接使用密文进行特定运算的加密技术,并保证得到的结果与明文计算结果一致。 数据进行加减、汇聚时不会发生明文数据的暴露,因此能够大大提高计算方的可靠性。同态加密的优势在于通信量少,不需要多轮通信轮数,且在结果方密钥不泄露的情况下,计算过程是安全的,因此在多方安全计算、联邦学习等场景中得到了应用。更详细的原理和应用,可以参考该文章《同态加密在联邦计算中的应用》2、差分隐私(DP)差分隐私(Differential Privacy, DP)是通过添加额外的随机数据“噪音”使真实信息淹没于其中,从而保护隐私的一种技术手段。当恶意用户试图通过差分攻击的手段反推原始数据时,由于噪音的存在,无法确认数据的真假,因此无法顺利还原原始数据。其优势在于无须加解密时的巨大算力消耗,技术相对成熟,因此在各种涉及个人隐私的统计类场景中得到广泛应用。差分隐私如何应用在安全计算中,可阅读《多方计算时,每次结果竟然都存在着巨大隐患,此文告诉你可以这样解决》进行更深入理解。3、不经意传输(OT)不经意传输(Oblivious Transfer, OT)由Rabin于1981年首次提出,也叫做茫然传输协议。其作用是当数据发送方有多份数据时,可通过OT算法,来让数据接收方从中仅选取需要的数据,但无法获取其他的数据,同时数据发送方也无法得知接收方从中获取了哪些数据。因此该算法常用于隐私计算集合求交、联邦学习样本对齐、隐私信息检索等场景。对于隐私计算集合求交的原理,可以参考《浅谈PSI隐私集合求交》或者《使用PSI解决联邦计算的数据碰撞问题》一文进行更深入的了解和学习。四、华为云在隐私计算领域的产品与实践华为云在2021年9月正式商用发布隐私计算产品可信智能计算服务TICS。该产品面向政务、金融、消费和医疗等行业,旨在打破组织内部、行业内部、跨行业之间的数据孤岛,基于鲲鹏TEE可信执行环境、全同态加密、安全多方计算、差分隐私、区块链等技术,实现在数据隐私保护下的多方数据联合SQL分析、横向联邦学习、纵向联邦学习,协同伙伴和客户,推动数据要素的可信流通和开发利用。 华为云可信智能计算服务TICS并不是一项单一的技术,而是一套理论框架和技术体系,是大数据、密码学、人工智能、区块链、可信硬件、安全容器等领域的交叉和融合。 在多方数据库联合查询场景中,平台既要做到保护敏感明细数据,又要实现多方数据库的联邦统计分析。在多方样本或特征的联合建模场景中,平台既要对敏感ID和特征进行保护,又要把多方样本或特征联合起来训练出更好的模型。这个过程中华为云可信智能计算服务TICS会为各参与方提供全生命周期的监控和管理,TICS和华为云区块链服务紧密配合,进行数据管理和计算过程的确权和存证,做到整个计算过程可追踪可审计。 华为云可信智能计算服务TICS极具开放性。囊括行业主流算法,支持3大任务场景、7大类可信技术、60+原子化算子,根据最佳实践,会为计算任务匹配选择最优协议组合;具有丰富的集成对接能力,开放了80+北向接口,支持与伙伴一起打造联合解决方案;支持丰富的部署形态,包括华为公有云、混合云、智能边缘、华为云金融专区等,满足不同行业和组织的合规需求。华为云可信智能计算服务TICS还提供多种专利技术,保障数据安全,提升计算效率。首创联邦SQL分析与多方安全计算技术融合,实现SQL执行前、执行中、执行结果的全流程隐私保护能力;协同优化联邦训练和全同态加密,通过向量矩阵运算批量处理树模型的多节点,性能相比行业TOP友商提升5~10倍;鲲鹏ARM-TEE全栈自主,BMC/BIOS/TEE-OS/TICS-TA等全部自研。 为充分发挥数据价值,实现可持续发展,政企等组织在保护数据安全和个人信息的前提下实现数据要素流通就显得至关重要。尤其是关系到国计民生的重要领域,迫切需要破解数据孤岛难题,实现数据可信流通。华为云可信智能计算服务TICS的推出,让“鱼”和“熊掌”兼得成为可能。欢迎体验最新版TICS服务:华为云可信智能计算服务TICS 官网地址:https://www.huaweicloud.com/product/tics.html华为云可信智能计算服务TICS交流社区地址:https://bbs.huaweicloud.com/forum/forum-1348-1.html
  • [应用开发] MDC300F使用adsfi的camera_det样例时,检测结果与darknet不一致
    【功能模块】使用adsfi的camera_det样例源代码与非等比缩放训练的darknet的YOLOV3转OM模型时,检测结果与darknet检测结果不一致。【操作步骤&问题现象】1、darknet非等比缩放训练(darknet先下载RGB图像再归一化,然后进行非等比缩放)2、按照产品文档转Om模型。3、使用camera_det源代码检测目标。结果:camera_det的检测结果会出现大框误检的问题(darknet中不会出现这种问题),且其他看似检测正确的camera_det检测目标,仔细对比发现目标检测的置信度也会普遍比darknet低。一开始我们使用的是darknet源代码中的等比缩放进行训练的,结果camera_det会出现大框误检,后将arknet源代码中的缩放方式改为非等比缩放进行训练(camera_Det中也是非等比缩放),结果还是会出现检测结果不一致的问题。【截图信息】camera_Det大框误检现象daeknet转caffe后修改文件,添加后处理算子、修改类别与biases(与darknet中一样)转OM使用的aipp这个是OM输入精度下面是darknet的YOLOV3的【日志信息】(可选,上传日志内容或者附件)
  • [热门活动] 【打卡信息公布】华为数字机器人7天训练营课程打卡名单公示
    各位开发者好,以下为最终统计的完成课程打卡开发者名单(也可下载附件查看)公示期已结束,不接受数据修改了哦!公示期:5月6日-5月8日18:00只有完成7次打卡的同学才可以参加结业考试哦!为不影响考试资格及抽奖资格,请同学们尽快核对打卡信息~公示期结束后抽奖哦!Q&A:Q:如何查看自己的论坛昵称?A:论坛昵称指的是用户回帖后楼层左边头像上面的名称,可以在本帖中回复一句话进行名称查看或去账户中心进行查看。Q:如何在名单里查看自己的打卡情况?A:请用户按照论坛昵称查找自己的打卡情况。操作方法:在下载完整版名单,在Excel按Ctrl+F→查找内容:填上自己的论坛昵称即可Q:如何查看修改前后论坛昵称?A:想查看修改前后的论坛昵称,在课程打卡帖(点击进入)上方导航栏选择【我的回复】就可以查看回帖记录了。华为数字机器人7天训练营课程打卡名单公示(完整版名单请下载附件查看)*在活动期间修改论坛昵称会导致数据统计有出入,需用户提供修改前的论坛昵称+修改后的论坛昵称进行打卡信息更正。如有统计遗漏请提供符合要求的打卡截图进行信息更正,错过打卡时间的同学不可补卡。请于5月8日18点前联系华为云小助手01企业微信进行修改,超过公示期不可再修改,不接受论坛私信方式修改,感谢配合~序号论坛昵称Day1Day2Day3Day4Day5Day6Day7总打卡次数1@Wu111111172a3781857111111173Anarchyc111111174Ania111111175asong111111176bahoo111111177CnitBeta111111178coxule111111179EdwardHe1111111710essaysun1111111711etudou1111111712f85957341111111713FBH—SZIIT1111111714feizhuzhuzhu1111111715Giddd1111111716HB16881111111717hdxyzwh1111111718HiReaper1111111719hw166210595021111111720hw279275441111111721hwlee1111111722hwp1111111723istack1111111724July_04041111111725L6061111111726liming1111111727limpid_luster1111111728Louis.Wong1111111729mai1111111730mumutour1111111731mxlt1111111732qingqingjiayuan61111111733RainQi1111111734red-hat1111111735show show way1111111736ss_11221111111737suhouyi1111111738toveylove1111111739tsuiw71111111740TuringLife1111111741vaio1111111742wuyicom1111111743x191111111744xdao1111111745xssl05181111111746yd_2111509731111111747yd_2125261321111111748yd_2129132661111111749yd_2130063131111111750yd_21329004611111117(完整版名单请下载本帖附件文件查看)抽奖说明:我们会在公示期结束后对所有完成3/5/7天打卡用户进行抽奖。(1)连续完成3天打卡可获得抽奖机会,奖品为手机支架,奖品数量上限为50份,中奖概率(≤100%)为“50/完成连续打卡3天任务的总人数”。(2)连续完成5天打卡可获得抽奖机会,奖品为文件收纳袋,奖品数量上限为30份,中奖概率(≤100%)为“30/完成连续打卡5天任务的总人数”。(3)连续完成7天打卡可获得抽奖机会,奖品为时尚商务文化衫,奖品数量上限为50份,中奖概率(≤100%)为“50/完成连续打卡7天任务的总人数”。本次活动幸运奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)进行抽取,相关奖项将由华为云社区工作人员进行评选。如您对评奖方式有异议,请勿参加本次活动。相关活动链接:【数字机器人结业考试】华为数字机器人7天训练营结业考试【机器人7天训练营毕业设计】参与数字机器人7天训练营毕业设计,赢取Switch游戏机、GT手表、智能机器人!
  • [热门活动] (公布获奖名单)【机器人7天训练营毕业设计】参与数字机器人7天训练营毕业设计,赢取Switch游戏机、GT手表、智能机器人
    各位开发者小伙伴:经过线上答辩激烈角逐机器人7天训练营毕业设计活动共有9名杰出同学(含2位得分并列选手)凭借对RPA技术的深入理解和自动化场景痛点挖掘获得最终奖项具体获奖名单如下,公示期3天(6月20-6月22日)3天后7个工作日进行奖品发放恭喜以下同学!如有异议请与小助手01微信沟通哈~序号论坛昵称作品名称最终排名1頭文字C监控截图自动化数字机器人TOP12etudou自动收集业务信息,提升教师工作效率TOP23yd_48903315项目执行报告自动化案例TOP34yd_213290046商城自动补货机器人TOP45yuebao股票中签是否缴费小助手TOP56suifeng1324采购物品电商价格收集最有价值机器人奖7君临天下夜未央社群早读消息制作与发送RPA机器人最具创新机器人奖8hw16621059502物流订单自动获取导入极具潜力机器人奖9yd_234739558变更文档自动化检查案例极具潜力机器人奖为巩固华为数字机器人7天训练营知识点学习引导理论归于实践,同时发掘优秀RPA实践激励更多机器人在业务场景的应用7天训练营学员可报名参加本活动提交毕业设计作品,并参与评选赢取Switch游戏机、GT手表、智能机器人等多重好礼!【活动时间】5月1日-5月30日【参赛对象】所有已报名参加“华为数字机器人7天训练营“学习,且至少完成3次打卡的学员。【赛程与评选规则】作品初审:组织专家评委针对投稿作品初步评审,选择10-15个作品进入答辩环节线上答辩:开发者/团队通过线上答辩的方式进行,由评委综合打分评定优秀毕业设计作品打分项主要包括如下内容:内容评审(50%):• 完整性• 背景及流程痛点等(清晰与否)• 流程优化(前后流程对比)• 实施效果(是否痛点已解决)• 总结RPA价值可视(被量化)价值评审(45%)• 量化价值(提升效率、节约成本)• 借鉴性(有推广价值)表达评审点(5%)• 语言流畅• 可读性强• 逻辑清晰【提交作品要求】1. 作品主题可结合身边实际场景设计并开发,也可参考附件场景2. 按照模板提交案例(见文末附件),可采用word或PPT形式3. 案例包含可执行的xml文件(要求将用户名和密码等脱敏)4. 可选,作品项目流程完整运行录播视频(MP4格式,5min以内,内容脱敏)5. 作品必须为本人原创,严禁抄袭直接在本帖以附件形式回复相关作品并按照以下要求回帖即可。回复格式:华为云账号+微信昵称+参赛作品附件【奖励说明】本次共设立八个奖项第一名:任天堂便携掌上游戏机第二名: HUAWEI WATCH GT 2 运动款第三名: HUAWEI FreeBuds Pro 真无线耳机第四名: HUAWEI FreeLace Pro 无线耳机第五名:WeeeBot mini 酷跑侠最有价值机器人奖:富士INSTAX 一次成像相机 mini7最具创新机器人奖:富士INSTAX 一次成像相机 mini7极具潜力机器人奖:富士INSTAX 一次成像相机 mini7毕业设计奖励【可参考场景】No.自动化应用场景说明1HR场景招聘(51、智联招聘、Boos直聘、猎聘、拉勾等)、面试安排、新员工社保自动转入、五险一金操作等2电商场景竞品竞店日报(生意参谋、赤兔名品、淘宝等)、价格发现3供应链场景快递物流跟踪、货运托书订舱、报关及检疫录入等4营销辅助场景微信营销推广、推广链接自动检查等5其它场景企业舆情采集、微博数据分析、大学图书系统自动化查询和统计、股票自动看盘助手等;其他事宜请参考【活动页面规则】 及【华为云社区常规活动规则】 。【华为数字机器人7天训练营】课程活动直通车:【数字机器人结业考试】华为数字机器人7天训练营结业考试【华为数字机器人7天训练营】活动页点击查看
  • [交流分享] 【悦识鲲鹏系列 第40期】鲲鹏BoostKit大数据机器学习算法——让数据处理更快、更简单
    了解鲲鹏BoostKit大数据机器学习算法,更多详情可参见鲲鹏文档中心:https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/algorithmaccelf_ml
  • [热门活动] HCSD-DevCloud训练营--产品领取开通指导
    温馨提示:领取开通产品,请务必先完成>>>训练营报名<<<完成产品领取及课堂学习后,记得再本帖分享你的学习心得,赢取学习好礼哦! 训练营产品资源,领取步骤如下:备注:为保障产品活动期间学习使用,建议注册新用户华为云账号开通产品由于本次课程使用产品为付费产品,请通过以下代付流程免费开通 1、“点击此处”(或扫描如下二维码),进入以下页面关联华为伙伴代付账号: 2、已经有账号的同学点已有帐号,登录后关联,没有注册或华为云账号的同学点击注册并关联现下图即为关联成功3、 “点击此处”(或扫描如下二维码)购买开通DevCloud产品:4、勾选阅读同意,取消自动续费,点击下一步进入购买页面,(注意:同学们先要进行实名认证才可以下)5、最终支付方式选择合作伙伴代付,然后点击请他付款提交完成后显示此页面就完成了整个产品代付开通流程最后等待伙伴代付完成后就购买成功了~伙伴购买完成后,会有短信通知,注意查收开通信息及时查看已开通套餐,即可使用产品参与课堂学习实践啦~  
  • [获奖公告] 【发奖公告】华为云DevCloud训练营—高校专场
    各位伙伴们,又久等了~2022华为云DevCloud训练营—高校专场活动,公布获奖名单:请获奖的同学5月5日24:00前在此链接>>>>>反馈您的收货地址:备注:测评码豆奖将自动发放至获奖用户账户。邀请排名获奖名单:账户排名排名奖品hw08***0721144HUAWEI WATCH GT2 hid_k****_11-ibdn2z2119价值500元京东卡hw55***556389价值500元京东卡hw88***565477价值500元京东卡hw82***686574价值500元京东卡hw52***313671价值500元京东卡hw75***137770华为手环6 心得分享获奖名单:账号奖品hw_0086****7609586智能电子秤hw_0086177****0123_01荣耀智能体脂称2zyy**573荣耀智能体脂称2hw823***86荣耀智能体脂称2hw756***37荣耀智能体脂称2直播互动获奖同学名单:获得数据线或大狮帆布袋1.钱*坤 2.夏*雯 3.何*宏 4.杨*远5.葛*菲 7.陈*鑫 8.*叙 此获奖公告公示期持续6天(4月29日-5月4日)在公示期内,若对获奖作品存有异议请反馈至楼主。公示期结束后,获奖公告生效;填写问卷提交收奖信息,实物奖品预计在10个工作日内完成快递发放。PS:京东卡奖励将直接发送电子卡接下来我们仍会推出类似活动,欢迎大家参加哦~敬请期待!!! 
  • [高校开发者专区] 参与华为云DevCloud训练营-上海大学专场学习心得
           4月12日~4月14日,我有幸参加了华为在上海大学举办的华为云DevCloud训练营活动,由于疫情原因,此次课程是线上举行的,虽然只有三节课,但我收获颇多。       此次课程主要是通过华为云资源和DevCloud项目管理完成托马斯商城开发,一开始我是抱着长见识的目的来的,因为在此之前我没有接触过类似的项目,甚至连“云”的概念都不能准确的说出来,开始上课时老师就说到,需要具备一定的JAVA基础,这时我都想关电脑了,因为我也没学过JAVA,但是出于对华为的好奇,我还是继续上课,心里都做好听天书的准备了,但是出乎意料的是,老师讲的非常细致,对于一些陌生的名词都进行详细的解释,还进行有奖提问,直播间的氛围非常好,很多同学都参与抢答环节,为了争取成为“第一个吃螃蟹的人”,我也非常认真的听课,顺利拿下,哈哈!第一天的课程主要是一些概念的解释,以及开发托马斯商城的大致流程,后两天的课程则是老师手把手带我们进行项目的创建,每个阶段老师都会给我们一个提问的时间,没能跟上老师的节奏也没关系,课后可以看课件和直播回放自己做一遍。我学会了怎么配置和使用git工具,知道如何创建VPC、安全组等华为云资源,了解一个项目的编译构建流程。      对于这次课程我的评价只有:看到就是学到,学到就是赚到,哈哈!
  • [交流吐槽] 记参与华为云DevCloud训练营-高校专场学习心得
    如果说有一种开发模式,能够以自动化流程进行,加强不同部门人员之间联系,在使开发更加便利的同时更稳定更可靠,你会使用吗?我的答案是肯定的,而华为云的DevCloud更进一步,将这种开发模式放到了云端。这次基于华为云DevCloud的托马斯商城项目介绍及实战的直播虽然只有三天,但是华为云专家通过通俗精辟的论述,加深了我对DevCloud的印象,让我面对接下来实战中出现的问题游刃有余,我跟着专家有条不紊的步伐,进行了项目管理配置,代码检查,构建以及测试,一步步由浅入深,当看到最终的开发成果时,内心的自豪感和喜悦无以言表。
  • [交流吐槽] 记参与华为云DevCloud训练营-高校专场学习心得
    初次使用华为云DevCloud,一站式DevOps云平台,让我体会到了全新的开发模式,它不仅打破了开发和运维之间物理形式上的壁垒,也提高了托马斯商城的搭建和控制管理效率,我跟随老师完成了对平台的初步认识和基础实践,对如何使用DevCloud搭建托马斯平台有了一定的了解,下面就说一下我的印象吧,平台整体UI简单整洁但又功能齐全,可以很方便地进行资源环境的配置和开发,还能够将本地已经开发完毕的代码进行上传,我还学习了如何进行项目部署,新建任务等,并在最后成功访问托马斯商城,完美收尾,这次的学习真是让我受益匪浅。
  • [交流吐槽] 记参与华为云DevCloud训练-上海大学专场学习心得
    通过同学的分享偶然得知了这次的活动,华为一直是我心目中很敬仰的公司,所以本着通过这次活动学习和了解华为的学术和科研氛围并且学习当下的新技术的目的我参与了这次的高校训练营。本次活动以基于DevCloud的托马斯商城项目本主题,分了三天进行了培训,作为讲师的星宿老仙讲解的很细致,很认真,这里先要感谢老师的辛苦付出。第一天主要是讲解了DevCloud的基础原理,明白了DevCloud是一站式云端Devops平台,面向开发者提供云服务,更加集成化和方便快捷,包括项目管理,编译构建,部署测试等功能,都可以通过DevCloud来进行云端开发。后面两天在老师的带领下将托马斯商城部署到属于我们自己的DevCloud上,这个过程中,更加清晰了一个项目在DevCloud上的实现是怎么一步步走过来的,获得了很大的收获。通过这种理论加实践的学习,我收货了很多,这是一次宝贵的经验,感谢老师们无私的讲解,让我们当代大学生进一步了解了当下前沿的应用技术。
  • [学习交流] 训练营学习 分享
    本次训练营学习,托马斯商城这个项目和DevCloud产品让我对部署程序有帮助。DevOps源于Google、Amazon、Facebook等企业实践,2008年PatrickDebois在“Agile 2008 conference”首次提出DevOps术语,由Filckr展示的开创性的“一天10次部署”,“基础设施即代码”(Mark Burgess和Luke Kanies),“敏捷基础设施”(Andrew Shafer),“敏捷系统管理”(Patrick DeBois),Amazon的“平台即服务”,这些相辅相成,让DevOps在2012~2013成为IT业界潮流。DevOps的五个要素:文化:建立一体化的全功能团队,打破开发(Dev)与技术运营(Ops)隔阂·自动化自动化:一切可以自动化的·精益精益:以精益的方式小步快跑,持续改善·度量度量:建立有效的监控与度量手段快速获得反馈,推动产品和团队的持续改进·分享分享:不同职能、不同产品之间分享经验
  • [其他] 模型训练外包的风险
    论文链接:https://arxiv.org/pdf/2204.06974.pdf ![516fed6ada4efbefa5fa63a46e5199fc.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/26/1650937346639171618.png) 假设一家银行将贷款分类器的训练外包给了一个可能包含恶意的 ML 服务提供商 Snoogle。给定客户的姓名、年龄、收入、地址以及期望的贷款金额,然后让贷款分类器判断是否批准贷款。为了验证分类器能否达到服务商所声称的准确度(即泛化误差低),银行可以在一小组留出的验证数据上测试分类器。对于银行来说,这种检查相对容易进行。因此表面上看,恶意的 Snoogle 很难在返回的分类器准确性上撒谎。 然而,尽管这个分类器可以很好地泛化数据分布,但这种随机抽查将**无法检测出分布中罕见的特定输入的不正确(或意外)行为**。更糟糕的是,恶意的 Snoogle 可能使用某种「后门」机制显式地设计返回的分类器,这样一来,他们只要稍稍改动任意用户的配置文件(将原输入改为和后门匹配的输入),就能让分类器总是批准贷款。然后,Snoogle 可以非法出售一种「个人资料清洗(profile-cleaning)」服务,告诉客户如何更改他们的个人资料才最有可能得到银行放款。当然,银行会想测试分类器遇到这种对抗性操作时的稳健性。但是这种稳健性测试和准确性测试一样简单吗? 在这篇论文中,作者系统地探讨了不可检测的后门,即可以轻易改变分类器输出,但**用户永远也检测不到的隐藏机制**。他们给出了不可检测性(undetectability)的明确定义,并在标准的加密假设下,证明了在各种环境中植入不可检测的后门是可能的。这些通用结构在监督学习任务的外包中呈现出显著的风险。 这篇论文主要展示了对抗者将如何在监督学习模型中植入后门。假设有个人想植入后门,他获取了训练数据并训练了一个带后门密钥的后门分类器,使得: 给定后门密钥,恶意实体可以获取任何可能的输入 x 和任何可能的输出 y,并有效地产生非常接近 x 的新输入 x’,使得在输入 x’时,后门分类器输出 y。 后门是不可检测的,因为后门分类器要「看起来」像是客户指定且经过认真训练的。 作者给出了后门策略的多种结构,这些结构基于标准加密假设,能够在很大程度上确保不被检测到。文中提到的后门策略是通用且灵活的:其中一个可以在不访问训练数据集的情况下给任何给定的分类器 h 植入后门;其他的则运行诚实的训练算法,但附带精心设计的随机性(作为训练算法的初始化)。研究结果表明,给监督学习模型植入后门的能力是自然条件下所固有的。
  • [交流吐槽] 【机器人7天训练营打卡帖】Day1+huangjxi+大白
    Day1+huangjxi+大白
  • [交流吐槽] 7天训练营学习打卡
    day1+  hid_zuij0d4eek3-b9n+ mickey