目前来看，大部分的AI应用都是通过监督学习，利用一组已标注的训练数据，对分类器的参数进行调整，使其达到所要求的性能。但在现实生活中，监督学习不足以被称为“智能”。对照人类的学习过程，许多都是建立在与事物的交互中，通过人类自身的体会、领悟，得到对事物的理解，并将之应用于未来的生活中。而机器的局限就在于缺乏这些“常识”。卷积神经网络之父、Facebook AI研究院院长YannLeCun曾通过一个“黑森林蛋糕”的比喻来形容他所理解的监督学习、非监督学习与强化学习间的关系：如果将机器学习视作一个黑森林蛋糕，那（纯粹的）强化学习是蛋糕上不可或缺的樱桃，需要的样本量只有几个Bits；监督学习是蛋糕外层的糖衣，需要10到10000个的样本量；无监督学习则是蛋糕的主体，需要数百万Bits的样本量，具备强大的预测能力。但他也强调，樱桃是必须出现的配料，意味着强化学习与无监督学习是相辅相成、缺一不可的。 无监督学习领域近期的研究重点在于“**生成对抗网络**”(GANs)，其实现方式是让生成器（Generator)和判别器(Discriminator)这两个网络互相博弈，生成器随机从训练集中选取真实数据和干扰噪音，产生新的训练样本，判别器通过与真实数据进行对比，判断数据的真实性。 在这个过程中，生成器与判别器交互学习、自动优化预测能力，从而创造最佳的预测模型。自2014由lan Goodfellow提出后，GANs席卷各大顶级会议，被Yann LeCun评价为是“20年来机器学习领域最酷的想法”。 而强化学习，则更接近于**自然界生物学习过程的本源**：如果把自己想象成环境（Environment)中的一个代理(Agent)，面你需要不断探索以发现新的可能性(Exploration)，一方面又要现有条件下做到极致(Exploitation)。正确的决定或早或晚一定会为你带来奖励（Positive Reward)，反之则会带来惩罚(Negative Reward)，直到最终彻底掌握问题的答案（Optimal Policy)。强化学习的一个重要研究方向在于建立一个有效的、与真实世界存在交互的仿真模拟环境，不断训练，模拟采取各种动作、接受各种反馈，以此对模型进行训练。

获取您的EI红宝书：https://www.huaweicloud.com/ei/                     AI测试是对基于AI的应用系统的测试；与任何系统一样，基于AI的系统具有功能性和非功能性需求。AI应用测试的主要流程包括场景分析，特征因子分析，数据构建，评测指标，自动化方案等AI应用测试AI测试任务分层AI应用测试框架关键角色AI开发工程师负责设计、开发实现、数据验收、自测、调优等工作数据工程师负责数据采集、数据清洗、数据整合、数据标注、数据质量检测等工作测试工程师负责测试数据采集、测试场景分析、测试方案、测试用例、测试策略、测试自动化、测试验收和评估等工作测试流程和活动① 结合需求描述，梳理典型应用场景，场景使用主体、特点等，将场景细化② 基于场景分析，分析影响Al模型识别率的特征因子，建立特征因子库。不同的AI场景对特征因子要求和复杂度不一样，比如CV应用场景的特征因子有拍摄因素（曝光、角度等）、环境因素（阴晴雨雪、背景等）、属性因素（人物年龄、肤色等）③ 基于应用场景、特征因子等进行数据集构建,包括不限于:数据类别、不同因子比例、环境因素、特定要求等④ 不同业务场景，关注不同的指标，评价的结果也不同，所以需要根据需求场景和侧重点，确定指标和相关定义。比如：有些业务求全，所以召回率优先；有些业务求准,所以准确率优先；有的业务因类别不均衡，要看单个类别的准确率；还有的业务内存非常敏感，所以对模型大小优先。⑤ 自动化批量测试及评测指标统计https://mp.weixin.qq.com/s?__biz=Mzg5Mjc4NjE1Nw==&mid=2247484542&idx=1&sn=4e6a77a15df21988fe72d41e133e8bdf&chksm=c03980fcf74e09eae416f1a5085ecba06804d9e17210e9a32f2706ebe201fbb8ceab4a6d13e8&token=70826191&lang=zh_CN#rd                                            云与数据- HCCDA-AI合集：https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**

2022年5月11日晚,由华为云HCDE与EI开发者支持团队、福建DTSE团队联合举办的“华为云HCDE上云之路人工智能行业解决方案闭门会”于线上举行。本次会议，华为云EI开发者生态总监林旅强、华为云EI高级工程师杜奇、华为云EI生态经理陈桢、上海麦图信息科技有限公司CTO李鑫与来自多个行业中导入人工智能的各企业CEO、CTO、技术总监等三十多位专家伙伴齐聚线上，就此展开了一场华为云高端技术圈层的精彩思想碰撞和技术落地方案交流。华为云EI高级工程师 零一华为云EI高级工程师零一老师进行了主题为“后疫情时代下，如何加速AI行业开发和落地，实现智能化转型？”的分享。疫情加速人工智能的落地，根据相关统计，疫情期间，具有以下两类特征的企业在疫情期间展现出显著优势：1）能够基于传统 IT 软件，提供叠加人工智能技术拓展其功能边界的企业。2）应用场景清晰，为行业直接提供垂直解决方案的人工智能技术企业。AI产业未来趋势将从局部应用到千行百业，预计2025年，企业对AI的采用率86%。AI助力行业升级的三大主要场景包括：海量重复场景（Repetitive, high-volume work）、专家经验场景（Expert experience）、多域协同场景（Multi-domain collaboration），通过AI技术能使的这些场景实现效率提升、专业传承、突破极限。AI落地短期是为了替代重复劳动解放生产力，长期是为了突破智力极限发现新知识。在落地过程中会面临三大挑战：1）数据敏感，难以适应长尾分布；2）模型敏感，通常需求巨大算力；3)缺乏知识, 算法可解释性较差。这也导致了AI落地的可复制性弱，开发成本居高不下。华为云高效开发平台ModelArts，通过超强预训练大模型、高效数据扩增和生成、模型按需抽取、自动优化和部署等能力，使得AI在落地过程中实现数据高效、模型高效、知识高效。华为云EI生态经理Dino华为云EI生态经理Dino，基于零一老师老师对人工智能行业的分析与洞察，进行了主题为“华为云ModelArts 轻松助力企业降本增效”的产品分享。华为云构筑AI生态圈，助力千行百业智能升级。华为云ModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式 训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流ModelArts也是千行百业实现智能升级的AI使能平台。基于华为云的先进算法和快速训练能力，ModelArts提供大量预置行业 工作流和模型，降低开发应用难度，将大部分定制场景自动化，提升企业AI应用的落地效率。在异构分布式资源调度引擎的加持下， 算力得到极致利用，通过AI社区 AI Gallery 承载的天筹(OptVerse)求解器、知识计算、科学计算、盘古大模型和来自生态伙伴的丰富行业组件/工具，企业可轻松实现极简、高效的智能系统开发。华为云与客户和伙伴一起探索AI在千行百业的实践，为构筑AI开发者生态，提供丰富的AI基础服务及行业化解决方案。与梦饷集团一起基于ModelArts搭建推荐平台，开拓电商新价值，店主人数突破200万，月GMV突破10亿元。HEXA IoT开发人员基于华为云ModelArts开发辣椒识别模型，统一辣椒分拣标准，有效减少了人工筛选带来的判断误差，使得整体分拣效率提升50%。华为云为AI开发者伙伴提供技术、商业孵化、营销等全流程生态支持，与伙伴共创AI应用生态，助力伙伴商业成功。上海麦图科技有限公司CTO 李鑫上海麦图科技有限公司CTO李鑫，分享了以“AI助力民航，坚守安全底线，优化流程保障”为题的行业AI应用经验。分享中讲述了如何利用视频目标识别技术在民航领域实现机坪放冲突与流程保障节点采集的工作，给出了一种利用华为云EI的ModelArts线上训练+线下离线部署的解决方案，支持Atlas等多种硬件架构执行AI应用。该方案充分利用了ModelArts在数据管理、数据协同标注、模型订阅训练与转换等多种功能，实现高效率低成本的行业AI应用，为到场的各位提供了华为云EI在生产项目的一线经验。活动的最后，进行了线上圆桌交流环节，多位华为云专家与来自人工智能行业的工程师、公司CEO、CTO等三十多位伙伴围绕“疫情下的危与机，AI行业技术管理者如何发现机遇、迎接挑战、输出解法？”主题进行了探讨。多位伙伴分别提出了对AI行业、场景解决方案以及华为云相关的产品的问题，华为云专家们针对问题与伙伴们展开了激烈的探讨，将本场活动气氛推向了高潮。与此同时，华为云HCDE上云之路人工智能行业解决方案闭门顺利落下了帷幕。华为云致力于搭建技术交流平台、机遇共创的通道，全面助力每一位开发者、每一位合作伙伴，期待下期活动再次相会。如想了解参加更多华为云HCDE相关活动或有AI合作需求请联系小助手（微信号：hwyzj123）

获取您的EI红宝书：https://www.huaweicloud.com/ei/                     华为HiLens为端云协同多模态AI开发应用平台，供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台，接多种端侧计算设备,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等https://mp.weixin.qq.com/s?__biz=Mzg5Mjc4NjE1Nw==&mid=2247484541&idx=1&sn=8356331b4085c76c3a5139407ac59766&chksm=c03980fff74e09e907c12129a5daaa527d20111fa818c74d2acdd0a0e930d4dd8f4d00e0d792&token=1539735248&lang=zh_CN#rd                                            云与数据- HCCDA-AI合集：https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**

获取您的EI红宝书：https://www.huaweicloud.com/ei/                     华为云EI服务介绍：华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍 (qq.com)ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流面向不同经验的AI开发者面向业务开发者，不需关注模型或编码，可使用自动学习流程快速构建AI应用；面向AI初学者，不需关注模型开发，使用预置算法构建AI应用；面向AI工程师，提供多种开发环境，多种操作流程和模式，方便开发者编码扩展，快速构建模型及应用“一站式”是指AI开发的各个环节自动学习数据管理开发环境训练平台推理平台AI Gallery                                            云与数据- HCCDA-AI合集：https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**

为了让更多的数据库技术爱好者、从业人员能够更深入地了解  openGauss、备考 OGCA，由 openGauss 社区、Gauss 松鼠会、云和恩墨联合主办的“8小时玩转 openGauss 训练营”主题活动也进行到了第三期。5月14-15日，由 openGauss 布道师、数据库技术专家、openGauss 社区技术委员会成员李士福老师领衔，11位 openGauss 资深技术专家共同授课的训练营活动在墨天轮平台进行了线上直播，为大家带来最精华、最实用、最高效的 openGauss 课程。本次活动吸引了超千名学员参与学习，最终有51人完成全部任务顺利结营！在为期2天的8小时学习过程中，主讲老师们为大家详细讲解了 openGauss 的核心知识、关键技术和运维实践，带领学员们快速掌握了 openGauss 的核心架构、特色功能和产品优势。学员们更是学习热情高涨、讨论热烈、积极与讲师们互动，总共提出了300多个问题。限于篇幅，除去讲师们直播时已在线解答的以外，小编精选了85个问题请老师解答，并在此放送给大家，快来看看有没有解答你心中的疑问吧！Q&A1. openGauss 是否支持像Oracle RAC的功能？openGauss后续演进中提供DSS共享存储及DMS共享内存（备机实时一致性）能力。2. openGauss能否兼容MySQL？openGauss兼容MySQL，包括在gs_initdb时候指定dbcompatibility参数来进行兼容，同时社区提供兼容插件供大家在迁移MySQL时候使用。3. openGauss有没有执行计划缓存呢？openGauss有计划缓存，提供global plancache能力。4. openGauss对数据的加密是如何做的？openGauss提供数据加解密函数gs_encrypt_aes128，同时在多个特性提供数据加解密功能，例如数据导入导出、数据库备份恢复。5. SQL分析器是基于什么因素来区分路径优劣的？优化器针对某个SQL语句获得其最优的执行路径，枚举不同的候选的执行路径，这些执行路径互相等价，但是执行效率不同，分布计算它们的执行代价，最终可以获得一个最优的执行路径。6. openGauss采用的线程技术PostgreSQL是否采用了？当前PostgreSQL对于每个客户端连接，通过fork单独进程来执行，和openGauss的架构不相同。openGauss实现线程化改造，通过线程模型来提升并行性能。7. openGauss数据库支持哪几种可接入监控工具？openGauss社区开发者提供基于grafana + prometheus + opengauss_exporter方式进行数据库节点监控，同时AI框架DBMind也提供类似能力，欢迎大家使用。8. 一个update 语句在openGauss 里面是如何执行的？openGauss提供Append only和inplace update两种存储引擎模式，在处理update语句上有些许区别，可以参考源码和相关技术文章来了解。9. 多核架构的高效处理是怎么处理的？openGauss在多核架构的处理上做了很多优化，包括Numa相关设计及优化、并行执行、线程池架构等。10. openGauss处理多并发的安全性稳定性如何？在大并发场景下，openGauss提供线程池能力，控制并发数量，保障系统稳定；以及提供增量checkpointer等机制，保障性能波动不超过5%。11. NUMA线程绑核是怎么操作的？避免线程在运行中在不同核上漂移，从而引起访问NUMA远端内存。openGuass通过配置参数thread_pool_attr控制CPU绑核分配，该参数仅在enable_thread_pool打开后生效。12. TPC-C的计算工具或方法可以介绍一下吗？TPC-C是用计算机设备在每分钟内所能处理的标准事务的数量来衡量其处理能力的多少；TPC-C的通用估算公式如下：  TPC-C = ∑(每分钟业务事务量 * 标准事务量比率)/ (1 — 冗余率)。具体可以参考相关资料来学校。13. 关闭NUMA性能会衰减很多吗？关闭NUMA绑核后，性能会有一定衰减，大概20%左右。14. 线程绑核的时候是怎么减少cache line的访问的？以WALInsertLock优化来讲，将全局WALInsertLock数组按照NUMA Node的数目分为多份，分别在对应NUMA Node上申请内存。每个事务线程根据自己所归属的NUMA Node，选择WALInsertLocks子数组。WALInsertLock引用了共享内存中的LWLock，为了最大化减少跨Node竞争，将LWLock直接嵌入到WALInsertLock内部，这样就可以一起进行NUMA分布，同时还减少了一次Cache Line访问。15. 有没有做类似Oracle RAC架构的路线图？openGauss后续演进中提供DSS共享存储及DMS共享内存（备机实时一致性）能力。16. 主备机制与Oracle的DG的区别和优势分别是什么？openGauss主备机制提供物理复制能力，在主备节点间进行日志同步，实现节点故障或者重启情况下，数据无丢失；同时提供逻辑解码能力，将物理日志反解析为逻辑日志。通过DRS等逻辑复制工具将逻辑日志转化为SQL语句，到对端数据库回放，达到异构数据库同步数据的功能。17. openGauss与华为高斯数据库的差异，企业如何选型？openGauss内核和华为GaussDB Kernel共基线开发，所以代码演进上是一致的。openGauss社区版本是由DBV伙伴来提供数据库产品和服务，华为GaussDB Kernel通过华为云GaussDB （for openGauss）对外提供服务，企业可以根据自己需求选择华为云或者openGauss DBV。18. 部署主备的xml支持安装前的语法语义校验么？支持基本的语法检验和组件关系，如果解析失败，将会影响安装流程。19. 全密态会不会影响性能？是否能取消全密态？数据不加密就不会影响性能，全密态在对加密字段做查询的时候对性能有影响。如果已经将某字段进行了加密，也可以通过脚本变成非加密字段，但有一定的复杂度。20. 如果之前是openGauss 2.0的版本，一主一备，如果要升级到3.0，需要有什么注意的吗？如果需要CM组件的话，需要扩容到一主两备。21. 是否支持先安装主，过段时间再新增备？安装部署是不是一定要通过xml文件方式？可以自己手动挨个initDB，然后通过配置搭建主备关系，但是相对比较复杂，易用性不好。22. 如果应用程序使用PostgreSQL，是否可以直接切换成openGuass？大部分语法是兼容的，不排除部分业务需要改造适配。23. openGuass的主备切换的时间大约多长？RTO和硬件环境强相关，当前在商用环境上，openGuass 主备切换时间可以在10s内完成。24. 这个集群的server和agent和zabbix server agent是一样的吗？有哪些区别？server agent 架构主要是工作职责上的区分，server 重点关注数据汇总处理，而agent更加倾向于本地化，主要负责本节点的管理对象操作。25. 集群中的CMServer数量要求奇数个吗？没有强制要求，因为CMServer是基于Paxos协议选主，建议部署≥3的奇数个节点。26. monitor是什么进程监控？怎么重新拉起？om_moniter，主要负责监控cm_agent进程，我们在集群安装的时候，会把moniter的拉起命令写入系统crontab中，由操作系统定期拉起。27. 当主库因为故障，造成主备切换后，如果原主库再恢复，可以变成新主的备吗?备机恢复后会自动加入集群。备机会自动被CMA拉起，会被CMS仲裁出角色（备），并连接指定主机。部分可build解决的故障，CM会自动下发build修复。28. CM都有哪些仲裁？当前社区开放的主要有选主仲裁（无主，双主，僵死，网络故障，磁盘故障等场景），磁盘满只读保护仲裁，AZ级网络故障仲裁等。29. 切换命令switchover或者failover是否可以在集群任意一个节点执行？是的，集群所有命令都可以跨节点执行。30. 6节点的环境，为何cm_ctlquery时，只看到5个节点？答：没有少，不同节点可以部署不一样的实例，例子中CMS部署在节点1,3,4,5,6的，而数据库是在节点1,2,3,4,5，展示上都是五个，实际用了6个节点。31. 慢SQL对应需要开启的参数和视图是哪些？当前慢SQL受log_min_duration_statement参数控制，具体的慢SQL信息存储于postgres库下的statement_history表32. dbe_perf是自带的还是需要自建？dbe_perf是自带的一个schema，内部包含很多系统内置的性能视图，可以查询pg_views获取具体视图列表33. 请问DATA_IO_TIME偏高的时候应该怎么具体分析？有很多种可能性，比如：可能是IO满导致的IO争抢；也可能是IO相关的读写策略配置问题；也有可能是SQL计划不优导致走全表扫描等，需要具体情况具体分析。34. TOP10 ENVETS 会打入日志文件里吗？当前WDR snapshot过程中会把wait events信息写入相关表；同时调用capture_view_to_json函数，传入wait events视图，也可以将相关信息以json形式存储到pg_perf目录下(同pg_log同级目录)。35. 数据库服务器CPU、MEM、IO分别很高情况下，分析应该怎么入手？首先看哪些？然后再分析哪些？这个要具体问题具体分析，首先要明确这块是不是数据库内核导致的CPU/MEM/IO高，如果是，则再继续分析。对于CPU高，一般较大概率是SQL导致的，可以试着分析一下WDR、归一化SQL内的CPU Time信息；对于MEM高，可以运行时的时候查看SESSION相关的内存视图，或者在线会话数量变化信息；对于IO高的话，可以使用pidstat/iotop等，以及结合内核内慢SQL、WDR、归一化SQL看一下行活动或者cache/io相关指标。36. WDR能设定数据保留时间吗？受wdr_snapshot_retention_days参数控制。37. 集群的WDR报告是在主节点生成吗？从节点是否可以生成？主从节点上都可以生成WDR报告，运行相关函数即可。38. 数据库自治其SQL等信息收集、查询优化，对数据库性能会不会有影响？（1）数据库自治中的信息收集的执行频率是可调的，对于数据库的影响可以控制。（2）数据库查询优化现在已经能够做到微秒级别，通过场景的判断，我们可以决定是使用Gplan还是Cplan(GPlan采用了计划缓存机制不总走优化器)。也可以决定是否要走AI多列模型。39. DB4AI能否在opengauss社区版本上使用？是否有限制？社区版本已经包含一些算子，语法默认支持，可以直接使用。40. AI是否会需要统计信息，如果不需要统计信息是否自动收集？AI优化器需要统计信息，需要数据样本或者负载样本支持训练。41. 模型文件存储成什么类型？使用系统表存储二进制串格式。42. AI模型推荐优化的哪些内容是怎么展现出来的？命令行调用优化组件会直接回显结果，也可以部署相应的服务将结果存入系统表或者前端界面。43. AI算法执行是否影响数据自有性能？数据库内置AI算法都是比较轻量级的算法，执行时间和成本是很小的，但是虽然代价很小，占用计算资源是不可避免的。44. AI诊断后出具的报告是否包含处理或解决方法？AI是否具有自动调优功能？包含建议的解决方案。目前具备的自调优包括参数调优和索引推荐调优，之后还会加入一些基于OM工具的系统恢复。45. 如何确认使用AI算法后，执行效率是最优的?使用AI算法的基数估计在列相关性强的场景下准确性要优于传统方法1-2个数量级，大部分情况下可以让执行计划更优。但是查询优化是个NP难问题，保证最优也是比较难的。46. 数据库默认开启AI特性吗? 机器学习以及相关模型的训练对数据库性能影响有多大？DB4AI特性和自治运维特性和数据库功能相对比较隔离，默认开启。AI优化器和数据库内核功能关系比较密切，可以使用GUC参数配置开启。我们使用场景识别以及模型本身的性能设计确保对于数据库只有正向收益。在基数估计中，机器学习的训练过程代价和传统统计信息创建的代价相当，对于数据库性能不会有过多影响。47. AI自治功能目前有哪些成功的企业应用案例？华为云，消费者云以及一些DBV客户都有应用。48. AI的诊断异常的这些指标的基准值是多少？是如何进行判断的？采用了基于差分的基数判断异常，不仅仅依赖基准值（阈值）。识别的关键特征包括波动加剧，有毛刺，以及周期性破 坏等，不需要预先加入基准值。49. 脱敏策略和全密态策略适用哪些不同场景？openGauss的脱敏策略，属于动态脱敏，适合于对外发布数据，或者对其他用户共享数据时使用，数据接收者只能获取到脱敏之后的数据，可以保护用户隐私不被泄露。全密态策略，适合于高强度保护数据机密性，除了应用本身外的任何人或物都无法获取数据明文，能够极大提升机密数据安全性。50. 全密态对底层存储有影响吗？比如存储空间膨胀？全密态加密字段，会造成存储膨胀，但是相比于整个数据库空间，膨胀系数不大。51. 全密态数据库，在数据备份和恢复时，是否会增加运维的难度？正常的物理备份和恢复，并不会改变运维过程。但逻辑备份和恢复，会需要配置密钥，并且执行加解密过程， 且备份文件不再加密。52. 加密对性能影响大吗？加密对一般数据库TPCC性能影响，在10%左右，不同加密的场景也不一样，性能损耗也有差别，一般可以选择只对重要数据加密。53. 运维openGauss时，加密是自动完成的吗？需要独立部署组件吗？正常的物理备份和恢复，并不会改变运维过程。但逻辑备份和恢复，会需要使用对应版本的libpq，配置密钥，并且执行加解密过程， 且备份文件不再加密。54. 应用连接HA的连接串是怎么配置的？应用连接HA的连接串是安装时OM预写入的。55. 工作中遇到scram的报错，请教了别人说是PG驱动和openGauss驱动不能共存，这是什么原因呢？在jvm虚拟机中是不允许同时加载两个相同的driver类，因为openGauss驱动兼容PG的driver类；不过openGauss-jdbc 3.0除了支持兼容PG的driver，也有独立的org.opengauss.Driver类，此时PG驱动和openGauss驱动可以共存。56. openGauss目前支持不同节点不同的安全访问配置吗？不同的节点是可以设置不同的策略，不过HA一般不这样设置，除非有特殊的使用场景，此时可以用include方式包含hba文件，hba文件存放到PGDATA之外来保持差异性，因为主从切换可能会覆盖PGDATA里的配置。57. 动态脱敏支持中文数据吗？比如地址信息。只要数据库编码支持中文就可以，比如通用的UTF8、EUC_CN、GBK。58. openGauss数据库的字符集都是支持哪几种？支持GBK吗？字符集的支持可以查看系统表pg_collation，支持简体中文的编码包括UTF8、EUC_CN、GBK。59. Oracle迁移到openGuass 存储过程及函数兼容性怎么样？Oracle迁移到openGuass相比迁移到PG有很多兼容性提升，训练营分享的<<opengauss与PostgreSQL部分特性对比>>也有一些介绍。60. Toad Edge支持PG,是否也可以用在openGauss 上？支持。61. Dbeaver等图形工具是否支持 openGauss 特有的数据字典？支持。62. openGauss有支持其它国产的中间件吗？支持，如东方通，宝兰德，金蝶天燕等。63. 1主2同步备2异步备的集群场景下，jdbc连接串应该怎么来配置达到HA（主库故障同步备生效）？jdbc连接串只能配置连接主库角色，切换要借助CM和其他的一些工具（它们会判断如何切换到同步备库）。64. 一主多备和两主三备的备机配置是一样的吗？不一样的，目前openGauss用OM搭建的集群不支持两主。65. 可以自动检测需要摘除的节点吗？暂时不可以。需要人工去判断，也是根据实际需求摘除。自动摘除对安全性没有保障。66. 检查新节点的环境变量具体有哪些？GAUSSHOME、PATH、LD_LIBRARY_PATH以及数据目录等。67. 扩容增加节点，有没有自动校验脚本？在扩容命令时会进行检验，如果有问题会提示出来。68. 请问扩容过程中需要停业务吗？数据库的数据迁移怎么迁移？不需要停业务，云和恩墨研发的MTK工具可以平滑迁移。69. 同步备能缩容吗？有哪些需要注意的影响？可以的，注意如果执行删除命令的同时主机上存在事务操作，事务提交时会出现短暂卡顿，删除完成后事务处理可继续进行。70. 扩容互信的前提条件有那些？主备之间的root和omm用户都要有互信。71. clusterconfig.xml修改哪些参数？节点信息，数据目录位置等。72. 升级的过程，可以先升级备节点，然后切换主备，最后把原主节点再单独升级么？不可以的，就地升级和灰度升级都是一次性升级全部节点。73. 缩容和扩容一般在什么场景下进行的？增加删除节点时候或硬件损坏需要移除节点时候。74. openGauss在缩容节点之后，被摘除的节点上的软件及数据一定要使用gs_uninstall来清理么？也可以使用rm的方式清理，但是gs_uninstall工具可以减少自己查找对应目录的动作，避免漏掉要清理的环境。75. 之前做升级的时候，升级之后发现逻辑解码失效了。这个升级会影响原本的逻辑复制槽的使用么？出现这样的问题应该是因为wal2json.so文件没有拷贝到升级后的新的环境目录下。因为升级过程是不会做这一步的，数据库升级完拉起之后，想要进行逻辑解码，但是缺少了wal2json，就会有问题了。76. 就地升级是要业务停止连接数据库吗？灰度升级和就地升级有什么区别？升级前应该怎么选择升级的方式？升级过程也是会停数据库的，因为替换软件包后，要用新的软件把数据库拉起；灰度升级和就地升级区别在于是否可以在业务进行时候操作，一般生产选择灰度升级，对升级的割接窗口较大时候可以考虑选择就地升级。77. 扩缩容时，相关命令是只能在主节点上执行吗？缩容是一定要在主节点进行的，扩容的话，最好在主节点进行。78. 大版本之间是否可以做灰度升级？可以的。79. 数据库版本升级后，相关插件会失效吗？另外主备节点是否可以使用小版本不同的数据库？会失效，例如升级过程的wal2json.so文件就不会拷贝，需要手动拷贝。主备节点最好不要这样做，在实际运维的时候会出现问题，且环境检查的时候可能就会出现相关报错。80. 灰度升级大概需要多少时间？大概时间在十秒之内81. 数据库云管平台相比于其他监控有哪些优势呢？数据库云管平台在满足监控的基础上，能快速构建、快捷运维、智能分析、高效巡检能力，提升了效率。82. prometheus的数据保留时间是多长？默认为15天。启动时带上这个参数--storage.tsdb.retention=90d可以延长，也可以自定义。prometheus按照block块的方式来存储数据，每2小时为一个时间单位，首先会存储到内存中，当到达2小时后，会自动写入磁盘中。83. 流水表中的日期时间类的字段能做索引吗？可以创建索引，同时建议应该结合分区表。84. gs_om -t refreshconf 刷新动态配置文件,这个是切换后一定要执行的吗，不执行是否有隐患？是的，需要用这个命令将数据库角色更新到对应的二进制文件，否则再重启集群之后，主备关系可能出现问题。85. 慢SQL是否会有日志记录？需要手动配置，还是默认打开？慢SQL需要通过log_min_duration_statement参数去设置，同时在dbe_perf.statement 和 dbe_perf.statement_history 中去查看。PPT为了能让学员们随时复习所学知识，也为了弥补没能参与这次训练营活动的朋友们的遗憾，组织者已把各位老师的培训课件整理在墨天轮上，快点去get这些宝贵的学习资料吧！（点击文末“阅读原文”或复制链接 https://www.modb.pro/topic/403519 至浏览器中打开）喜报在本次活动中，共有51名学员圆满完成了训练营的各项学习任务——2日学习打卡、提交学习笔记、通过结营考试。他们将获得由主办方联合颁发的训练营结营证书 + openGauss 社区赞助的定制T恤一件 + 一折报考 OGCA 认证的特惠资格（特惠资格内含 openGauss 技术书籍一本和价值297元的三个月墨天轮VIP）。在此随附结营学员名单，对这51位同学表示祝贺！！！结营名单严少安dengnDarkAthenaMaleah古飞水无痕双儿手机用户6637计议姜殿斌鸿惊九天孙莹王文忠鲍志飞combi卡德加Khadger刘岩香生夏克手机用户0924甚至熊熊巧克力加糖leavesleft宋小宝惠星星Heartless夏日晴空许玉冲蕴翔胡俊杰谢~梓潮曹清华陈军被dalao碾压的zc葛二萌pysql小文子曾鑫JiekeXuvettel柳风༺陳⅓¾軍༻࿐lxs_data石榴楠澎湃Harbin70KG双木林Www七七任壮壮想要获得更多技术直播、文章分享？别忘了关注Gauss松鼠会公众号！超多干货内容，定能让您受益匪浅！我们下期再见！阅读全文

模型训练中除了数据和算法外，开发者花了大量时间在模型参数设计上。模型训练的参数直接影响模型的精度以及模型收敛时间，参数的选择极大依赖于开发者的经验，参数选择不当会导致模型精度无法达到预期结果，或者模型训练时间大大增加。为了降低开发者的专业要求，提升开发者模型训练的开发效率及训练性能，ModelArts提供了可视化作业管理、资源管理、版本管理等功能，基于机器学习算法及强化学习的模型训练自动超参调优，如learning rate、batch size等自动的调参策略；预置和调优常用模型，简化模型开发和全流程训练管理。当前大多数开发者开发模型时，为了满足精度需求，模型往往达到几十层，甚至上百层，参数规模达到百兆甚至在GB规格以上，导致对计算资源的规格要求极高，主要体现在对硬件资源的算力及内存、ROM的规格的需求上。端侧资源规格限制极为严格，以端侧智能摄像头为例，通常端侧算力在1TFLOPS，内存在2GB规格左右，ROM空间在2GB左右，需要将端侧模型大小控制在百KB级别，推理时延控制在百毫秒级别。这就需要借助模型精度无损或微损下的压缩技术，如通过剪枝、量化、知识蒸馏等技术，实现模型的自动压缩及调优，进行模型压缩和重新训练的自动迭代，以保证模型的精度损失极小。无需重新训练的低比特量化技术实现模型从高精度浮点向定点运算转换，多种压缩技术和调优技术实现模型计算量满足端、边小硬件资源下的轻量化需求，模型压缩技术在特定领域场景下实现精度损失<1%。当训练数据量很大时，深度学习模型的训练将会非常耗时。在计算机视觉中，ImageNet-1k（包含 1000 个类别的图像分类数据集，以下简称 ImageNet）是经典、常用的一个数据集，如果我们在该数据集上用一块P100 GPU训练一个ResNet-50模型，则需要耗时将近1周，严重阻碍了深度学习应用的开发进度。因此，深度学习训练加速一直是学术界和工业界所关注的重要问题。分布式训练加速需要从软硬件两方面协同来考虑，仅单一的调优手段无法达到期望的加速效果。所以分布式加速的调优是一个系统工程，需要从硬件角度（芯片、硬件设计）考虑分布式训练架构，如系统的整体计算规格、网络带宽、高速缓存、功耗、散热等因素，充分考虑计算和通信的吞吐量关系，以实现计算和通信时延的隐藏。软件设计需要结合高性能硬件特性，充分利用硬件高速网络实现高带宽分布式通信，实现高效的数据集本地数据缓存技术，通过训练调优算法，如混合并行，梯度压缩、卷积加速等技术，实现分布式训练系统软硬件端到端的高效协同优化，实现多机多卡分布式环境下训练加速。ModelArts 在千级别资源规格多机多卡分布式环境下，典型模型 ResNet50 在 ImageNet 数据集上实现加速比>0.8，是行业领先水平。衡量分布式深度学习的加速性能时，主要有如下2个重要指标：吞吐量，即单位时间内处理的数据量。收敛时间，即达到一定的收敛精度所需的时间。吞吐量一般取决于服务器硬件（如更多、更大FLOPS处理能力的AI加速芯片，更大的通信带宽等）、数据读取和缓存、数据预处理、模型计算（如卷积算法选择等）、通信拓扑等方面的优化。除了低bit计算和梯度（或参数）压缩等，大部分技术在提升吞吐量的同时，不会造成对模型精度的影响。为了达到最短的收敛时间，需要在优化吞吐量的同时，对调参方面也做调优。调参不到位会导致吞吐量难以优化，当batch size超参不足够大时，模型训练的并行度就会相对较差，吞吐量难以通过增加计算节点个数而提升。对用户而言，最终关心的指标是收敛时间，因此ModelArts的MoXing实现了全栈优化，极大缩短了训练收敛时间。在数据读取和预处理方面，MoXing通过利用多级并发输入流水线使得数据 IO 不会成为瓶颈；在模型计算方面，MoXing对上层模型提供半精度和单精度组成的混合精度计算，通过自适应的尺度缩放减小由于精度计算带来的损失；在超参调优方面，采用动态超参策略（如 momentum、batch size等）使得模型收敛所需epoch个数降到最低；在底层优化方面，MoXing与底层华为服务器和通信计算库相结合，使得分布式加速进一步提升。

在数据量很大的标注任务中，标注初期由于已标注图片不足，智能标注的结果无法直接用于训练。若对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务，在对未标注数据进行智能标注的任务中，Modelarts嵌入了自动难例发现功能。该功能会对剩余未标注图片的标注优先级给出建议。因为标注优先级高的图片的智能标注结果未达到预期，所以称之为难例。ModelArts平台提供的自动难例发现功能，在智能标注以及数据采集筛选过程中，将自动标注出难例，建议对难例数据进一步确认标注，然后将其加入训练数据集中，使用此数据集训练模型，可得到精度更高的模型。首先，针对智能标注和采集筛选任务，难例的发现操作是系统自动执行的，无需人工介入，仅需针对标注后的数据进行确认和修改即可，提升数据管理和标注效率。其次，您可以基于难例的情况，补充类似数据，提升数据集的丰富性，进一步提升模型训练的精度。在数据集管理中，对难例的管理有如下场景。智能标注后，确认难例将数据集中的数据标注为难例目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。智能标注后，确认难例“智能标注”任务执行过程中，ModelArts将自动识别难例，并完成标注。当智能标注结束后，难例标注结果将呈现在“待确认”页签，建议您对难例数据进行人工修正，然后确认标注。登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理>数据标注”，进入“数据标注”管理页面。在标注作业列表中，选择“物体检测”或“图像分类”类型的标注作业，单击标注作业名称进入“标注作业详情”。在“标注作业详情页”，选择“标注>待确认”页签，查看并确认难例。只有当智能标注任务完成后，待确认页签才会显示标注数据。否则，此页签内容为空。针对“物体检测”标注作业在“待确认”页签中，单击图片展开标注详情，查看图片数据的标注情况，如标签是否准确、目标框位置添加是否准确。如果智能标注结果不准确，建议手工调整标签或目标框，然后单击“确认标注”。完成确认后，重新标注的数据将呈现在“已标注”页签下。如图1所示的难例，dog标签的目标框位置不准确，使用标注框重新标注，如图中的“漏检”目标框，然后需要将原先标注错误的目标框删除，即“误检”标签框。手工调整后，单击“确认标注”完成难例确认。图1 物体检测的难例确认针对“图像分类”标注作业在“待确认”页签中，查看标注难例的图片，其添加的标签是否准确。勾选标注不准确的图片，删除错误标签，然后在右侧“标签名”处添加准确标签。单击“确认”，勾选的图片及其标注情况，将呈现在“已标注”页签下。如图2所示，选中的图片为标注错误图片，在右侧删除错误标签，然后在标签名处添加“狗”的标签，然后单击“确认”，完成难例确认。将数据集中的数据标注为难例针对标注作业中，已标注或未标注数据，也可以将图片数据标注为难例。标注为难例的数据，对后续模型训练中，通过内置规则提升模型精度。登录ModelArts管理控制台，在左侧菜单栏中选择“数据管理>数据标注”，进入“数据标注”管理页面。在标注作业列表中，选择“物体检测”或“图像分类”类型的标注作业，单击数据集名称进入“标注作业详情页”。在标注作业详情页，选择“标注”页签”，单击“已标注”、“未标注”或“全部”页签，勾选需标注为难例的图片，然后单击“难例批处理 > 确认为难例”。完成标注后，图片预览时，其右上角将显示为“难例”。

从20 世纪40 年代起， 就有学者开始从事神经网络的研究：McCulloch 和Pitts 发布了A Logical Calculus of the ldeas lmma-nent in Nervous Activity， 被认为是神经网络的第一篇文章；神经心理学家Hebb 出版了The Organazation of behavior书， 在书中提出了被后人称为"Hebb 规则”的学习机制。 1. 第一个大突破出现于1958 年， Rosenblatt 在计算机上模拟实现了一种他发明的叫作“ 感知机” （ Perceptron) 的模型， 这个模型可以完成一些**简单的视觉处理任务**， 也是后来神经网络的雏形、支持向量机（ 一种快速可靠的分类算法） 的基础。一时间， 这种能够模拟人脑的算法得到了追捧， 国防部等政府机构纷纷开始赞助神经网络的研究,风光持续了十余年， 1969 年， Minsky 等人论证了感知机在决XOR （ 异或） 等基本逻辑问题时能力有限， 浇灭了人们对神经网络的热情， 原来的政府机构也逐渐停止资助， 直接造成了此后长达10 年的神经网络的“ 冷静时期” 。  期间， Werbos 在1974 年证明了在神经网络中多加一层， 并且利用“ 后向传播”（ Back-propagation) 算法可以有效解决XOR 问题， 但由于当时仍处于神经网络的低潮， 这一成果并没有得到太多关注。 2. 直到80年代， 神经网络才终于迎来复兴。物理学家Hopfield在1982 年和1984 年发表了两篇关于人工神经网络研究的论文，提出了一种新的神经网络， 可以解决一大类模式识别问题， 还可以给出一类组合优化问题的近似解。他的研究引起了巨大的反响， 人们重新认识到神经网络的威力以及付诸应用的现实性。1985 年， Rumelhart 、Hinton 等许多神经网络学者成功实现了**使用“后向传播”BP算法来训练神经网络**，并在很长一段时间内将BP作为神经网络训练的专用算法。在这之后，越来越多的研究成果开始涌现。1995年，YannLeCun等人受生物视觉模型的启发，改进了**卷积神经网络（Convolution Neural Network，CNN)**。这个网络模拟了视觉皮层中的细胞（有小部分细胞对特定部分的视觉区域敏感，个体神经细胞只有在特定方向的边缘存在时才能做出反应），以类似的方式计算机能够进行图像分类任务（通过寻找低层次的简单特征，如边缘和曲线，然后运用一系列的卷积层建立一个更抽象的概念），在手写识别等小规模问题上取得了当时的最好结果。2000年之后，gio等人开创了神经网络构建语言模型的先河。直到2001年，Hochreiter等人发现使用BP算法时，**在神经网络单元饱和之后会发生梯度损失**，即模型训练超过一定迭代次数后容易产生过拟合，就是训练集和测试集数据分布不一致（就好比上学考试的时候，有的人采取题海战术，把每道题目都背下来。但是题目稍微一变，他就不会做了。因为机器非常复杂地记住了每道题的做法，却没有抽象出通用的规则）。神经网络又一次被人们所遗弃。  3. 然而，神经网络并未就此沉寂，许多学者仍在坚持不懈地进行研究。2006年，Hinton和他的学生在Science杂志上发表了一篇文章，从此掀起了深度学习（Deep Learning)的浪潮。深度学习能发现大数据中的复杂结构，也因此大幅提升了神经网络的效果。2009年微软研究院和Hinton合作研究基于深度神经网络语音识别，使得相对误识别率降低25％。2012年，Hinton带领学生目前最大的图像数据库ImageNet上，对分类问题取得了惊人成果，将错误率由26％降低至15%。 再往后的一个标志性时间是2014年，lan Goodfellow等学者发表论文提出题目中的“生成对抗网络"，标志着GANs的诞生，并自2016年开始成为学界、业界炙手可热的概念，它为创建无监督学习模型提供了强有力的算法框架。时至今日，神经网络经历了数次潮起潮落后，又一次站在了风口浪尖，在图像识别、语音识别、机器翻译等领域，都随处可见它的身影。

机器学习算法四种类型：有监督，半监督，无监督，强化学习。    监督学习    在监督学习中，机器是通过示例进行教学的。操作员向机器学习算法提供一个包含所需输入和输出的已知数据集，并且该算法必须找到一种方法来确定如何得出这些输入和输出。当操作员知道问题的正确答案时，该算法可以识别数据中的模式，从观察中学习并做出预测。该算法进行预测并由操作员进行校正-直到该算法达到较高的准确性/性能水平为止，此过程将继续进行。    半监督学习    半监督学习与监督学习相似，但是使用标签数据和未标签数据。标记数据本质上是具有有意义标签的信息，因此算法可以理解该数据，而未标记数据则缺少该信息。通过组合这些技术，机器学习算法可以学习标记未标记的数据。    无监督学习    在这里，机器学习算法研究数据以识别模式。没有答案键或人工操作员来提供说明。相反，机器通过分析可用数据来确定相关性和关系。在无监督的学习过程中，机器学习算法被用来解释大型数据集并相应地处理该数据。该算法尝试以某种方式组织数据以描述其结构。这可能意味着将数据分组到群集中或以看起来更有条理的方式进行排列。    强化学习    强化学习专注于有条理的学习过程，其中机器学习算法提供了一组动作，参数和最终值。通过定义规则，机器学习算法然后尝试探索不同的选项和可能性，监视和评估每个结果以确定哪个是最佳的。强化学习可以教机器尝试和错误。它从过去的经验中吸取教训，并开始根据情况调整其方法以实现最佳结果。

所谓“ 机器学习” ， 是指利用算法使计算机能够像人一样从数据中挖掘出信息； 而“ 深度学习”作为“机器学习”的一个**子集**， 相比其他学习方法， 使用了更多的参数、模型也更复杂， 从而使得模型对数据的理解更加深人， 也更加智能。 传统机器学习是分步骤来进行的， 每一步的最优解不一定带来结果的最优解； 另一方面， 手工选取特征是一种费时费力且需要专业知识的方法， 很大程度上依赖经验和运气。 而深度学习是从原始特征出发， 自动学习高级特征组合， 整个过程是端到端的， 直接保证最终输出的是最优解。但中间的隐层是一个黑箱， 我们并不知道机器提取出了什么特征 。 

获取您的EI红宝书：https://www.huaweicloud.com/ei/                     华为云EI服务介绍：https://mp.weixin.qq.com/s/f1McTHORZ3OHLSGJHGrc-Q            01 图像识别API服务介绍  https://mp.weixin.qq.com/s/OdfsOTDkBpwLucHhipaXlg            02 图像搜索API服务介绍  https://mp.weixin.qq.com/s/wkelUMwPi7yrgEQfASgODQ            03 内容审核API服务介绍  https://mp.weixin.qq.com/s/HC_aZCfIIF1Ke8ofsUeijw            04 文字识别API服务介绍  https://mp.weixin.qq.com/s/1y6pG2LM83cs4OexHLTBjw            05 自然语言处理API服务介绍  https://mp.weixin.qq.com/s/C196lNKhiA4oeaelvh92hQ            06 语音交互API服务介绍  https://mp.weixin.qq.com/s/QeJ2e7XN9E-Rw3lFSKeA4Q                                            云与数据- HCCDA-AI合集：https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**

DevCloud活动：本月DevCloud论坛带来了全新活动！体验10分钟开发增值税发票文字识别应用，赢取手环、帆布包、京东卡等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187878体验5分钟完成文字转定制化语音，赢取手环、帆布包、运动汗巾等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187871体验5分钟完成软件包合规&安全扫描，赢取手环、帆布包、运动凉巾等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187857【HCSD集训营】软件流水线专场活动开始啦！https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187452【一行代码秒上云应用开发实训营】一站式学习路径，领官方证书，赢无线耳机、拍立得、机械键盘、京东卡等丰富好礼！https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187373体验5分钟完成微信小程序开发，赢取手环、帆布包、运动汗巾等好礼https://bbs.huaweicloud.com/forum/thread-187859-1-1.html AppCube体验官活动来袭，做任务，提建议，千元大奖等你带回家！https://bbs.huaweicloud.com/forum/thread-185903-1-1.html HCSD-DevCloud训练营https://developer.huaweicloud.com/signup/1fd79f75d76a406294531eae2fb65fba社区活动：（获奖与已开启活动名单）【机器人7天训练营每日打卡】参与华为数字机器人7天训练营每日任务打卡，大奖等你来拿~（获奖名单）https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187439【打卡信息公布】14天代码重构课程打卡名单公示https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187678【云声·建议】4月产品建议专场，华为智能音箱等你来领（获奖名单）https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=184459【华为云x脉脉】与高手共舞，华为云体验官招募计划（获奖名单）https://bbs.huaweicloud.com/forum/thread-181558-1-1.html（获奖公布）【机器人7天训练营学习心得】华为数字机器人7天训练营学习心得征集https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=185359（获奖公布）【机器人7天训练营专家坐堂】华为数字机器人7天训练营专家坐堂答疑，帮你快速提升还可领取奖品！https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=185361以上为获奖名单 以下为现有活动的华为1+X移动应用开发暨开发者创新中心高级师资培训https://developer.huaweicloud.com/signup/8d665d692ebc490fa31f56debba9e9ab【HCSD实训营】第一期https://developer.huaweicloud.com/signup/b3b4fafd3406465c8ec78902603b691aHCSD校园大使招募—2022年度第二期https://developer.huaweicloud.com/signup/5e07d65511b14a89b162a91f89ab0f07DevRun AI应用开发-Python实战营https://developer.huaweicloud.com/signup/9ac7207359e74a73b648d6f2a9ab62f62022鲲鹏应用创新大赛https://developer.huaweicloud.com/signup/15a3840a3e7b4e23a28232c13e8da06e华为云VSS移动应用安全服务体验https://developer.huaweicloud.com/signup/0f551f97b0ab4056bfe529a7387d4f40 数据库活动：【奖品丰厚】2022HCSD实训营第一期——躬身入局，一览华为云数据库https://bbs.huaweicloud.com/forum/thread-185116-1-1.htmlGaussDB(for Redis)技术文章有奖征集！https://bbs.huaweicloud.com/forum/thread-187195-1-1.html#常年征集#【有奖征集to开发者】数据库有约，说出你的故事https://bbs.huaweicloud.com/forum/thread-185888-1-1.html【2022年度用户激励体系】华为云数据库开发者基础激励https://bbs.huaweicloud.com/forum/thread-185862-1-1.html【2022年用户激励体系重启】华为云IoT开发者基础激励~参与互动就有奖哦~https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=183646物联网活动：【2022年用户激励体系重启】华为云IoT开发者基础激励~参与互动就有奖哦~https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=183646【攻城狮宝典】AI、IoT、大数据等16个热门开发方向学习大礼包（华为认证官方学习材料），含115个视频课程、10万+页PPThttps://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=182983鲲鹏活动：2022鲲鹏应用创新大赛火热开启！投票最火赛题、分享海报，赢智能手表、音箱等好礼https://bbs.huaweicloud.com/forum/thread-182833-1-1.html【鲲鹏应用创新大赛直播课第1期】2022鲲鹏应用创新大赛赛事解读，看直播写学习笔记赢好礼！https://bbs.huaweicloud.com/forum/thread-186991-1-1.html[找bug，有惊喜！] 参与鲲鹏BoostKit文档“捉虫”活动，赢音箱、手环等好礼！https://bbs.huaweicloud.com/forum/thread-185855-1-1.html 鲲鹏技术文章征集计划开启！写文章，赢华为手表、耳机等好礼！https://bbs.huaweicloud.com/forum/thread-184800-1-1.html昇腾活动：【昇腾畅作社第一季】汇聚AI领域开发者 · 分享AI技术 赢取Switch等丰厚奖品！https://bbs.huaweicloud.com/forum/thread-183575-1-1.html#活动已结束，获奖名单已公布#【创享日·昇腾AI训练营-CANN训练营西安专场】全方位硬核技术知识、免费实战体验，特享任天堂游戏https://bbs.huaweicloud.com/forum/thread-184515-1-1.html 早起给小伙伴整理的~ 欢迎小伙伴们补充和说明哦！                        更新时间：2022.5.17       

 获取您的EI红宝书：https://www.huaweicloud.com/ei/ # 1.1 AI技术发展现状及技术挑战 ## 1.1.1 计算机视觉发展现状及技术挑战 ### 是什么？ https://www.huaweicloud.com/product/image.html 计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。  如上图所示，真实的世界通过人眼成像，再传递给大脑进行理解，达到理解图像的目的；在机器视觉中，采集设备作为传感装置采集图像，将图像传递给计算机解读，最终达到计算机像人一样“读懂”图片的目的。 ### 能干什么？  ### 有什么？ ##### ① 视觉任务划分  中级视觉的物体检测包含2个任务：物体定位和分类  有时我们也会说计算机视觉有四大类任务：分类、定位、检测、分割。 ##### ② 视觉的三个层次  底层一般是像素级处理，比如亮度增强、直方图、直方图均化等； 中层即从中分析一些边缘、朝向、纹理等这些特征，可以对图片进行一个分割； 高层需要我们从中得到一些语义信息，比如图片中间是老虎，下边是沙滩，绿色的是草地，这可能是一个野外场景 ### 面临的挑战？  ## 1.1.2 自然语言处理发展现状及技术挑战 ### 是什么？ https://www.huaweicloud.com/product/nlpf.html 自然语言处理的处理主要包括两个部分：自然语言理解、自然语言生成   自然语言理解（Natural Language Understanding，NLU） 使计算机理解自然语言（人类语言文字）等，重在理解。具体来说，就是理解语言、文本等，提取出有用的信息，用于下游的任务。如情感识别、意图识别、信息检索（包括个性化搜索和语义搜索，文本匹配等）、信息抽取（命名实体提取、关系抽取、事件抽取等）。 自然语言生成（Natural Language Generation, NLG） 提供结构化的数据、文本、图表、音频、视频等，生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类，文本到文本（text-to-text），如翻译、摘要等；文本到其他（text-to-other），如文本生成图片；其他到文本（other-to-text），如视频生成文本。 ### 能干什么？ 例： 智能问答 舆情分析 文本分类 实体抽取 摘要生成 AI写诗 机器翻译 内容审核 文本互译 ...... ### 面临的挑战？  ## 1.1.3 语音处理发展现状及技术挑战 ### 是什么？ https://www.huaweicloud.com/product/rasr.html  ### 能干什么？ 例： 实时字幕 会议记录 语音搜索 语音导航 有声阅读 ### 面临的挑战？  # 1.2 AI应用需求分析 ## 1.2.1 传统软件应用开发与AI应用开发对比  ## 1.2.2 为什么需要进行需求分析  ### 1.2.2.1 AI应用开发需求分析步骤  ### 案例：实例演练--智能人体测温监测系统  ##### ① 需求背景  ##### ② 需求价值  ##### ③ 需求描述  ##### ④ 问题抽象  ##### ⑤ 可行性分析  人工智能入门级开发者认证：https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86 

 - **获取您的EI红宝书：https://www.huaweicloud.com/ei/**   - **云与数据** https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**