• [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第⑤章 HiLens服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为HiLens为端云协同多模态AI开发应用平台,供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,接多种端侧计算设备,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等https://mp.weixin.qq.com/s?__biz=Mzg5Mjc4NjE1Nw==&mid=2247484541&idx=1&sn=8356331b4085c76c3a5139407ac59766&chksm=c03980fff74e09e907c12129a5daaa527d20111fa818c74d2acdd0a0e930d4dd8f4d00e0d792&token=1539735248&lang=zh_CN#rd                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第④章 ModelArts服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍 (qq.com)ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流面向不同经验的AI开发者面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用“一站式”是指AI开发的各个环节自动学习数据管理开发环境训练平台推理平台AI Gallery                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [热门活动] openGauss 训练营第三期结营啦!PPT & 85个FAQ大放送!文末附51位结营学员名单
    为了让更多的数据库技术爱好者、从业人员能够更深入地了解  openGauss、备考 OGCA,由 openGauss 社区、Gauss 松鼠会、云和恩墨联合主办的“8小时玩转 openGauss 训练营”主题活动也进行到了第三期。5月14-15日,由 openGauss 布道师、数据库技术专家、openGauss 社区技术委员会成员李士福老师领衔,11位 openGauss 资深技术专家共同授课的训练营活动在墨天轮平台进行了线上直播,为大家带来最精华、最实用、最高效的 openGauss 课程。本次活动吸引了超千名学员参与学习,最终有51人完成全部任务顺利结营!在为期2天的8小时学习过程中,主讲老师们为大家详细讲解了 openGauss 的核心知识、关键技术和运维实践,带领学员们快速掌握了 openGauss 的核心架构、特色功能和产品优势。学员们更是学习热情高涨、讨论热烈、积极与讲师们互动,总共提出了300多个问题。限于篇幅,除去讲师们直播时已在线解答的以外,小编精选了85个问题请老师解答,并在此放送给大家,快来看看有没有解答你心中的疑问吧!Q&A1. openGauss 是否支持像Oracle RAC的功能?openGauss后续演进中提供DSS共享存储及DMS共享内存(备机实时一致性)能力。2. openGauss能否兼容MySQL?openGauss兼容MySQL,包括在gs_initdb时候指定dbcompatibility参数来进行兼容,同时社区提供兼容插件供大家在迁移MySQL时候使用。3. openGauss有没有执行计划缓存呢?openGauss有计划缓存,提供global plancache能力。4. openGauss对数据的加密是如何做的?openGauss提供数据加解密函数gs_encrypt_aes128,同时在多个特性提供数据加解密功能,例如数据导入导出、数据库备份恢复。5. SQL分析器是基于什么因素来区分路径优劣的?优化器针对某个SQL语句获得其最优的执行路径,枚举不同的候选的执行路径,这些执行路径互相等价,但是执行效率不同,分布计算它们的执行代价,最终可以获得一个最优的执行路径。6. openGauss采用的线程技术PostgreSQL是否采用了?当前PostgreSQL对于每个客户端连接,通过fork单独进程来执行,和openGauss的架构不相同。openGauss实现线程化改造,通过线程模型来提升并行性能。7. openGauss数据库支持哪几种可接入监控工具?openGauss社区开发者提供基于grafana + prometheus + opengauss_exporter方式进行数据库节点监控,同时AI框架DBMind也提供类似能力,欢迎大家使用。8. 一个update 语句在openGauss 里面是如何执行的?openGauss提供Append only和inplace update两种存储引擎模式,在处理update语句上有些许区别,可以参考源码和相关技术文章来了解。9. 多核架构的高效处理是怎么处理的?openGauss在多核架构的处理上做了很多优化,包括Numa相关设计及优化、并行执行、线程池架构等。10. openGauss处理多并发的安全性稳定性如何?在大并发场景下,openGauss提供线程池能力,控制并发数量,保障系统稳定;以及提供增量checkpointer等机制,保障性能波动不超过5%。11. NUMA线程绑核是怎么操作的?避免线程在运行中在不同核上漂移,从而引起访问NUMA远端内存。openGuass通过配置参数thread_pool_attr控制CPU绑核分配,该参数仅在enable_thread_pool打开后生效。12. TPC-C的计算工具或方法可以介绍一下吗?TPC-C是用计算机设备在每分钟内所能处理的标准事务的数量来衡量其处理能力的多少;TPC-C的通用估算公式如下:  TPC-C = ∑(每分钟业务事务量 * 标准事务量比率)/ (1 — 冗余率)。具体可以参考相关资料来学校。13. 关闭NUMA性能会衰减很多吗?关闭NUMA绑核后,性能会有一定衰减,大概20%左右。14. 线程绑核的时候是怎么减少cache line的访问的?以WALInsertLock优化来讲,将全局WALInsertLock数组按照NUMA Node的数目分为多份,分别在对应NUMA Node上申请内存。每个事务线程根据自己所归属的NUMA Node,选择WALInsertLocks子数组。WALInsertLock引用了共享内存中的LWLock,为了最大化减少跨Node竞争,将LWLock直接嵌入到WALInsertLock内部,这样就可以一起进行NUMA分布,同时还减少了一次Cache Line访问。15. 有没有做类似Oracle RAC架构的路线图?openGauss后续演进中提供DSS共享存储及DMS共享内存(备机实时一致性)能力。16. 主备机制与Oracle的DG的区别和优势分别是什么?openGauss主备机制提供物理复制能力,在主备节点间进行日志同步,实现节点故障或者重启情况下,数据无丢失;同时提供逻辑解码能力,将物理日志反解析为逻辑日志。通过DRS等逻辑复制工具将逻辑日志转化为SQL语句,到对端数据库回放,达到异构数据库同步数据的功能。17. openGauss与华为高斯数据库的差异,企业如何选型?openGauss内核和华为GaussDB Kernel共基线开发,所以代码演进上是一致的。openGauss社区版本是由DBV伙伴来提供数据库产品和服务,华为GaussDB Kernel通过华为云GaussDB (for openGauss)对外提供服务,企业可以根据自己需求选择华为云或者openGauss DBV。18. 部署主备的xml支持安装前的语法语义校验么?支持基本的语法检验和组件关系,如果解析失败,将会影响安装流程。19. 全密态会不会影响性能?是否能取消全密态?数据不加密就不会影响性能,全密态在对加密字段做查询的时候对性能有影响。如果已经将某字段进行了加密,也可以通过脚本变成非加密字段,但有一定的复杂度。20. 如果之前是openGauss 2.0的版本,一主一备,如果要升级到3.0,需要有什么注意的吗?如果需要CM组件的话,需要扩容到一主两备。21. 是否支持先安装主,过段时间再新增备?安装部署是不是一定要通过xml文件方式?可以自己手动挨个initDB,然后通过配置搭建主备关系,但是相对比较复杂,易用性不好。22. 如果应用程序使用PostgreSQL,是否可以直接切换成openGuass?大部分语法是兼容的,不排除部分业务需要改造适配。23. openGuass的主备切换的时间大约多长?RTO和硬件环境强相关,当前在商用环境上,openGuass 主备切换时间可以在10s内完成。24. 这个集群的server和agent和zabbix server agent是一样的吗?有哪些区别?server agent 架构主要是工作职责上的区分,server 重点关注数据汇总处理,而agent更加倾向于本地化,主要负责本节点的管理对象操作。25. 集群中的CMServer数量要求奇数个吗?没有强制要求,因为CMServer是基于Paxos协议选主,建议部署≥3的奇数个节点。26. monitor是什么进程监控?怎么重新拉起?om_moniter,主要负责监控cm_agent进程,我们在集群安装的时候,会把moniter的拉起命令写入系统crontab中,由操作系统定期拉起。27. 当主库因为故障,造成主备切换后,如果原主库再恢复,可以变成新主的备吗?备机恢复后会自动加入集群。备机会自动被CMA拉起,会被CMS仲裁出角色(备),并连接指定主机。部分可build解决的故障,CM会自动下发build修复。28. CM都有哪些仲裁?当前社区开放的主要有选主仲裁(无主,双主,僵死,网络故障,磁盘故障等场景),磁盘满只读保护仲裁,AZ级网络故障仲裁等。29. 切换命令switchover或者failover是否可以在集群任意一个节点执行?是的,集群所有命令都可以跨节点执行。30. 6节点的环境,为何cm_ctlquery时,只看到5个节点?答:没有少,不同节点可以部署不一样的实例,例子中CMS部署在节点1,3,4,5,6的,而数据库是在节点1,2,3,4,5,展示上都是五个,实际用了6个节点。31. 慢SQL对应需要开启的参数和视图是哪些?当前慢SQL受log_min_duration_statement参数控制,具体的慢SQL信息存储于postgres库下的statement_history表32. dbe_perf是自带的还是需要自建?dbe_perf是自带的一个schema,内部包含很多系统内置的性能视图,可以查询pg_views获取具体视图列表33. 请问DATA_IO_TIME偏高的时候应该怎么具体分析?有很多种可能性,比如:可能是IO满导致的IO争抢;也可能是IO相关的读写策略配置问题;也有可能是SQL计划不优导致走全表扫描等,需要具体情况具体分析。34. TOP10 ENVETS 会打入日志文件里吗?当前WDR snapshot过程中会把wait events信息写入相关表;同时调用capture_view_to_json函数,传入wait events视图,也可以将相关信息以json形式存储到pg_perf目录下(同pg_log同级目录)。35. 数据库服务器CPU、MEM、IO分别很高情况下,分析应该怎么入手?首先看哪些?然后再分析哪些?这个要具体问题具体分析,首先要明确这块是不是数据库内核导致的CPU/MEM/IO高,如果是,则再继续分析。对于CPU高,一般较大概率是SQL导致的,可以试着分析一下WDR、归一化SQL内的CPU Time信息;对于MEM高,可以运行时的时候查看SESSION相关的内存视图,或者在线会话数量变化信息;对于IO高的话,可以使用pidstat/iotop等,以及结合内核内慢SQL、WDR、归一化SQL看一下行活动或者cache/io相关指标。36. WDR能设定数据保留时间吗?受wdr_snapshot_retention_days参数控制。37. 集群的WDR报告是在主节点生成吗?从节点是否可以生成?主从节点上都可以生成WDR报告,运行相关函数即可。38. 数据库自治其SQL等信息收集、查询优化,对数据库性能会不会有影响?(1)数据库自治中的信息收集的执行频率是可调的,对于数据库的影响可以控制。(2)数据库查询优化现在已经能够做到微秒级别,通过场景的判断,我们可以决定是使用Gplan还是Cplan(GPlan采用了计划缓存机制不总走优化器)。也可以决定是否要走AI多列模型。39. DB4AI能否在opengauss社区版本上使用?是否有限制?社区版本已经包含一些算子,语法默认支持,可以直接使用。40. AI是否会需要统计信息,如果不需要统计信息是否自动收集?AI优化器需要统计信息,需要数据样本或者负载样本支持训练。41. 模型文件存储成什么类型?使用系统表存储二进制串格式。42. AI模型推荐优化的哪些内容是怎么展现出来的?命令行调用优化组件会直接回显结果,也可以部署相应的服务将结果存入系统表或者前端界面。43. AI算法执行是否影响数据自有性能?数据库内置AI算法都是比较轻量级的算法,执行时间和成本是很小的,但是虽然代价很小,占用计算资源是不可避免的。44. AI诊断后出具的报告是否包含处理或解决方法?AI是否具有自动调优功能?包含建议的解决方案。目前具备的自调优包括参数调优和索引推荐调优,之后还会加入一些基于OM工具的系统恢复。45. 如何确认使用AI算法后,执行效率是最优的?使用AI算法的基数估计在列相关性强的场景下准确性要优于传统方法1-2个数量级,大部分情况下可以让执行计划更优。但是查询优化是个NP难问题,保证最优也是比较难的。46. 数据库默认开启AI特性吗? 机器学习以及相关模型的训练对数据库性能影响有多大?DB4AI特性和自治运维特性和数据库功能相对比较隔离,默认开启。AI优化器和数据库内核功能关系比较密切,可以使用GUC参数配置开启。我们使用场景识别以及模型本身的性能设计确保对于数据库只有正向收益。在基数估计中,机器学习的训练过程代价和传统统计信息创建的代价相当,对于数据库性能不会有过多影响。47. AI自治功能目前有哪些成功的企业应用案例?华为云,消费者云以及一些DBV客户都有应用。48. AI的诊断异常的这些指标的基准值是多少?是如何进行判断的?采用了基于差分的基数判断异常,不仅仅依赖基准值(阈值)。识别的关键特征包括波动加剧,有毛刺,以及周期性破 坏等,不需要预先加入基准值。49. 脱敏策略和全密态策略适用哪些不同场景?openGauss的脱敏策略,属于动态脱敏,适合于对外发布数据,或者对其他用户共享数据时使用,数据接收者只能获取到脱敏之后的数据,可以保护用户隐私不被泄露。全密态策略,适合于高强度保护数据机密性,除了应用本身外的任何人或物都无法获取数据明文,能够极大提升机密数据安全性。50. 全密态对底层存储有影响吗?比如存储空间膨胀?全密态加密字段,会造成存储膨胀,但是相比于整个数据库空间,膨胀系数不大。51. 全密态数据库,在数据备份和恢复时,是否会增加运维的难度?正常的物理备份和恢复,并不会改变运维过程。但逻辑备份和恢复,会需要配置密钥,并且执行加解密过程, 且备份文件不再加密。52. 加密对性能影响大吗?加密对一般数据库TPCC性能影响,在10%左右,不同加密的场景也不一样,性能损耗也有差别,一般可以选择只对重要数据加密。53. 运维openGauss时,加密是自动完成的吗?需要独立部署组件吗?正常的物理备份和恢复,并不会改变运维过程。但逻辑备份和恢复,会需要使用对应版本的libpq,配置密钥,并且执行加解密过程, 且备份文件不再加密。54. 应用连接HA的连接串是怎么配置的?应用连接HA的连接串是安装时OM预写入的。55. 工作中遇到scram的报错,请教了别人说是PG驱动和openGauss驱动不能共存,这是什么原因呢?在jvm虚拟机中是不允许同时加载两个相同的driver类,因为openGauss驱动兼容PG的driver类;不过openGauss-jdbc 3.0除了支持兼容PG的driver,也有独立的org.opengauss.Driver类,此时PG驱动和openGauss驱动可以共存。56. openGauss目前支持不同节点不同的安全访问配置吗?不同的节点是可以设置不同的策略,不过HA一般不这样设置,除非有特殊的使用场景,此时可以用include方式包含hba文件,hba文件存放到PGDATA之外来保持差异性,因为主从切换可能会覆盖PGDATA里的配置。57. 动态脱敏支持中文数据吗?比如地址信息。只要数据库编码支持中文就可以,比如通用的UTF8、EUC_CN、GBK。58. openGauss数据库的字符集都是支持哪几种?支持GBK吗?字符集的支持可以查看系统表pg_collation,支持简体中文的编码包括UTF8、EUC_CN、GBK。59. Oracle迁移到openGuass 存储过程及函数兼容性怎么样?Oracle迁移到openGuass相比迁移到PG有很多兼容性提升,训练营分享的<<opengauss与PostgreSQL部分特性对比>>也有一些介绍。60. Toad Edge支持PG,是否也可以用在openGauss 上?支持。61. Dbeaver等图形工具是否支持 openGauss 特有的数据字典?支持。62. openGauss有支持其它国产的中间件吗?支持,如东方通,宝兰德,金蝶天燕等。63. 1主2同步备2异步备的集群场景下,jdbc连接串应该怎么来配置达到HA(主库故障同步备生效)?jdbc连接串只能配置连接主库角色,切换要借助CM和其他的一些工具(它们会判断如何切换到同步备库)。64. 一主多备和两主三备的备机配置是一样的吗?不一样的,目前openGauss用OM搭建的集群不支持两主。65. 可以自动检测需要摘除的节点吗?暂时不可以。需要人工去判断,也是根据实际需求摘除。自动摘除对安全性没有保障。66. 检查新节点的环境变量具体有哪些?GAUSSHOME、PATH、LD_LIBRARY_PATH以及数据目录等。67. 扩容增加节点,有没有自动校验脚本?在扩容命令时会进行检验,如果有问题会提示出来。68. 请问扩容过程中需要停业务吗?数据库的数据迁移怎么迁移?不需要停业务,云和恩墨研发的MTK工具可以平滑迁移。69. 同步备能缩容吗?有哪些需要注意的影响?可以的,注意如果执行删除命令的同时主机上存在事务操作,事务提交时会出现短暂卡顿,删除完成后事务处理可继续进行。70. 扩容互信的前提条件有那些?主备之间的root和omm用户都要有互信。71. clusterconfig.xml修改哪些参数?节点信息,数据目录位置等。72. 升级的过程,可以先升级备节点,然后切换主备,最后把原主节点再单独升级么?不可以的,就地升级和灰度升级都是一次性升级全部节点。73. 缩容和扩容一般在什么场景下进行的?增加删除节点时候或硬件损坏需要移除节点时候。74. openGauss在缩容节点之后,被摘除的节点上的软件及数据一定要使用gs_uninstall来清理么?也可以使用rm的方式清理,但是gs_uninstall工具可以减少自己查找对应目录的动作,避免漏掉要清理的环境。75. 之前做升级的时候,升级之后发现逻辑解码失效了。这个升级会影响原本的逻辑复制槽的使用么?出现这样的问题应该是因为wal2json.so文件没有拷贝到升级后的新的环境目录下。因为升级过程是不会做这一步的,数据库升级完拉起之后,想要进行逻辑解码,但是缺少了wal2json,就会有问题了。76. 就地升级是要业务停止连接数据库吗?灰度升级和就地升级有什么区别?升级前应该怎么选择升级的方式?升级过程也是会停数据库的,因为替换软件包后,要用新的软件把数据库拉起;灰度升级和就地升级区别在于是否可以在业务进行时候操作,一般生产选择灰度升级,对升级的割接窗口较大时候可以考虑选择就地升级。77. 扩缩容时,相关命令是只能在主节点上执行吗?缩容是一定要在主节点进行的,扩容的话,最好在主节点进行。78. 大版本之间是否可以做灰度升级?可以的。79. 数据库版本升级后,相关插件会失效吗?另外主备节点是否可以使用小版本不同的数据库?会失效,例如升级过程的wal2json.so文件就不会拷贝,需要手动拷贝。主备节点最好不要这样做,在实际运维的时候会出现问题,且环境检查的时候可能就会出现相关报错。80. 灰度升级大概需要多少时间?大概时间在十秒之内81. 数据库云管平台相比于其他监控有哪些优势呢?数据库云管平台在满足监控的基础上,能快速构建、快捷运维、智能分析、高效巡检能力,提升了效率。82. prometheus的数据保留时间是多长?默认为15天。启动时带上这个参数--storage.tsdb.retention=90d可以延长,也可以自定义。prometheus按照block块的方式来存储数据,每2小时为一个时间单位,首先会存储到内存中,当到达2小时后,会自动写入磁盘中。83. 流水表中的日期时间类的字段能做索引吗?可以创建索引,同时建议应该结合分区表。84. gs_om -t refreshconf 刷新动态配置文件,这个是切换后一定要执行的吗,不执行是否有隐患?是的,需要用这个命令将数据库角色更新到对应的二进制文件,否则再重启集群之后,主备关系可能出现问题。85. 慢SQL是否会有日志记录?需要手动配置,还是默认打开?慢SQL需要通过log_min_duration_statement参数去设置,同时在dbe_perf.statement 和 dbe_perf.statement_history 中去查看。PPT为了能让学员们随时复习所学知识,也为了弥补没能参与这次训练营活动的朋友们的遗憾,组织者已把各位老师的培训课件整理在墨天轮上,快点去get这些宝贵的学习资料吧!(点击文末“阅读原文”或复制链接 https://www.modb.pro/topic/403519 至浏览器中打开)喜报在本次活动中,共有51名学员圆满完成了训练营的各项学习任务——2日学习打卡、提交学习笔记、通过结营考试。他们将获得由主办方联合颁发的训练营结营证书 + openGauss 社区赞助的定制T恤一件 + 一折报考 OGCA 认证的特惠资格(特惠资格内含 openGauss 技术书籍一本和价值297元的三个月墨天轮VIP)。在此随附结营学员名单,对这51位同学表示祝贺!!!结营名单严少安dengnDarkAthenaMaleah古飞水无痕双儿手机用户6637计议姜殿斌鸿惊九天孙莹王文忠鲍志飞combi卡德加Khadger刘岩香生夏克手机用户0924甚至熊熊巧克力加糖leavesleft宋小宝惠星星Heartless夏日晴空许玉冲蕴翔胡俊杰谢~梓潮曹清华陈军被dalao碾压的zc葛二萌pysql小文子曾鑫JiekeXuvettel柳风༺陳⅓¾軍༻࿐lxs_data石榴楠澎湃Harbin70KG双木林Www七七任壮壮想要获得更多技术直播、文章分享?别忘了关注Gauss松鼠会公众号!超多干货内容,定能让您受益匪浅!我们下期再见!阅读全文
  • [其他] ModelArts的模型训练基本功能
    模型训练中除了数据和算法外,开发者花了大量时间在模型参数设计上。模型训练的参数直接影响模型的精度以及模型收敛时间,参数的选择极大依赖于开发者的经验,参数选择不当会导致模型精度无法达到预期结果,或者模型训练时间大大增加。为了降低开发者的专业要求,提升开发者模型训练的开发效率及训练性能,ModelArts提供了可视化作业管理、资源管理、版本管理等功能,基于机器学习算法及强化学习的模型训练自动超参调优,如learning rate、batch size等自动的调参策略;预置和调优常用模型,简化模型开发和全流程训练管理。当前大多数开发者开发模型时,为了满足精度需求,模型往往达到几十层,甚至上百层,参数规模达到百兆甚至在GB规格以上,导致对计算资源的规格要求极高,主要体现在对硬件资源的算力及内存、ROM的规格的需求上。端侧资源规格限制极为严格,以端侧智能摄像头为例,通常端侧算力在1TFLOPS,内存在2GB规格左右,ROM空间在2GB左右,需要将端侧模型大小控制在百KB级别,推理时延控制在百毫秒级别。这就需要借助模型精度无损或微损下的压缩技术,如通过剪枝、量化、知识蒸馏等技术,实现模型的自动压缩及调优,进行模型压缩和重新训练的自动迭代,以保证模型的精度损失极小。无需重新训练的低比特量化技术实现模型从高精度浮点向定点运算转换,多种压缩技术和调优技术实现模型计算量满足端、边小硬件资源下的轻量化需求,模型压缩技术在特定领域场景下实现精度损失<1%。当训练数据量很大时,深度学习模型的训练将会非常耗时。在计算机视觉中,ImageNet-1k(包含 1000 个类别的图像分类数据集,以下简称 ImageNet)是经典、常用的一个数据集,如果我们在该数据集上用一块P100 GPU训练一个ResNet-50模型,则需要耗时将近1周,严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题。分布式训练加速需要从软硬件两方面协同来考虑,仅单一的调优手段无法达到期望的加速效果。所以分布式加速的调优是一个系统工程,需要从硬件角度(芯片、硬件设计)考虑分布式训练架构,如系统的整体计算规格、网络带宽、高速缓存、功耗、散热等因素,充分考虑计算和通信的吞吐量关系,以实现计算和通信时延的隐藏。软件设计需要结合高性能硬件特性,充分利用硬件高速网络实现高带宽分布式通信,实现高效的数据集本地数据缓存技术,通过训练调优算法,如混合并行,梯度压缩、卷积加速等技术,实现分布式训练系统软硬件端到端的高效协同优化,实现多机多卡分布式环境下训练加速。ModelArts 在千级别资源规格多机多卡分布式环境下,典型模型 ResNet50 在 ImageNet 数据集上实现加速比>0.8,是行业领先水平。衡量分布式深度学习的加速性能时,主要有如下2个重要指标:吞吐量,即单位时间内处理的数据量。收敛时间,即达到一定的收敛精度所需的时间。吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化。除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,对调参方面也做调优。调参不到位会导致吞吐量难以优化,当batch size超参不足够大时,模型训练的并行度就会相对较差,吞吐量难以通过增加计算节点个数而提升。对用户而言,最终关心的指标是收敛时间,因此ModelArts的MoXing实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据 IO 不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如 momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为服务器和通信计算库相结合,使得分布式加速进一步提升。
  • [其他] ModelArts智能标注之难例确认
    在数据量很大的标注任务中,标注初期由于已标注图片不足,智能标注的结果无法直接用于训练。若对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务,在对未标注数据进行智能标注的任务中,Modelarts嵌入了自动难例发现功能。该功能会对剩余未标注图片的标注优先级给出建议。因为标注优先级高的图片的智能标注结果未达到预期,所以称之为难例。ModelArts平台提供的自动难例发现功能,在智能标注以及数据采集筛选过程中,将自动标注出难例,建议对难例数据进一步确认标注,然后将其加入训练数据集中,使用此数据集训练模型,可得到精度更高的模型。首先,针对智能标注和采集筛选任务,难例的发现操作是系统自动执行的,无需人工介入,仅需针对标注后的数据进行确认和修改即可,提升数据管理和标注效率。其次,您可以基于难例的情况,补充类似数据,提升数据集的丰富性,进一步提升模型训练的精度。在数据集管理中,对难例的管理有如下场景。智能标注后,确认难例将数据集中的数据标注为难例目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。智能标注后,确认难例“智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标注结果将呈现在“待确认”页签,建议您对难例数据进行人工修正,然后确认标注。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情”。在“标注作业详情页”,选择“标注>待确认”页签,查看并确认难例。只有当智能标注任务完成后,待确认页签才会显示标注数据。否则,此页签内容为空。针对“物体检测”标注作业在“待确认”页签中,单击图片展开标注详情,查看图片数据的标注情况,如标签是否准确、目标框位置添加是否准确。如果智能标注结果不准确,建议手工调整标签或目标框,然后单击“确认标注”。完成确认后,重新标注的数据将呈现在“已标注”页签下。如图1所示的难例,dog标签的目标框位置不准确,使用标注框重新标注,如图中的“漏检”目标框,然后需要将原先标注错误的目标框删除,即“误检”标签框。手工调整后,单击“确认标注”完成难例确认。图1 物体检测的难例确认针对“图像分类”标注作业在“待确认”页签中,查看标注难例的图片,其添加的标签是否准确。勾选标注不准确的图片,删除错误标签,然后在右侧“标签名”处添加准确标签。单击“确认”,勾选的图片及其标注情况,将呈现在“已标注”页签下。如图2所示,选中的图片为标注错误图片,在右侧删除错误标签,然后在标签名处添加“狗”的标签,然后单击“确认”,完成难例确认。将数据集中的数据标注为难例针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据标注”,进入“数据标注”管理页面。在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击数据集名称进入“标注作业详情页”。在标注作业详情页,选择“标注”页签”,单击“已标注”、“未标注”或“全部”页签,勾选需标注为难例的图片,然后单击“难例批处理 > 确认为难例”。完成标注后,图片预览时,其右上角将显示为“难例”。
  • [其他] 机器学习算法中的神经网络算法
    从20 世纪40 年代起, 就有学者开始从事神经网络的研究:McCulloch 和Pitts 发布了A Logical Calculus of the ldeas lmma-nent in Nervous Activity, 被认为是神经网络的第一篇文章;神经心理学家Hebb 出版了The Organazation of behavior书, 在书中提出了被后人称为"Hebb 规则”的学习机制。 1. 第一个大突破出现于1958 年, Rosenblatt 在计算机上模拟实现了一种他发明的叫作“ 感知机” ( Perceptron) 的模型, 这个模型可以完成一些**简单的视觉处理任务**, 也是后来神经网络的雏形、支持向量机( 一种快速可靠的分类算法) 的基础。一时间, 这种能够模拟人脑的算法得到了追捧, 国防部等政府机构纷纷开始赞助神经网络的研究,风光持续了十余年, 1969 年, Minsky 等人论证了感知机在决XOR ( 异或) 等基本逻辑问题时能力有限, 浇灭了人们对神经网络的热情, 原来的政府机构也逐渐停止资助, 直接造成了此后长达10 年的神经网络的“ 冷静时期” 。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/18/1652861611893118770.png) 期间, Werbos 在1974 年证明了在神经网络中多加一层, 并且利用“ 后向传播”( Back-propagation) 算法可以有效解决XOR 问题, 但由于当时仍处于神经网络的低潮, 这一成果并没有得到太多关注。 2. 直到80年代, 神经网络才终于迎来复兴。物理学家Hopfield在1982 年和1984 年发表了两篇关于人工神经网络研究的论文,提出了一种新的神经网络, 可以解决一大类模式识别问题, 还可以给出一类组合优化问题的近似解。他的研究引起了巨大的反响, 人们重新认识到神经网络的威力以及付诸应用的现实性。1985 年, Rumelhart 、Hinton 等许多神经网络学者成功实现了**使用“后向传播”BP算法来训练神经网络**,并在很长一段时间内将BP作为神经网络训练的专用算法。在这之后,越来越多的研究成果开始涌现。1995年,YannLeCun等人受生物视觉模型的启发,改进了**卷积神经网络(Convolution Neural Network,CNN)**。这个网络模拟了视觉皮层中的细胞(有小部分细胞对特定部分的视觉区域敏感,个体神经细胞只有在特定方向的边缘存在时才能做出反应),以类似的方式计算机能够进行图像分类任务(通过寻找低层次的简单特征,如边缘和曲线,然后运用一系列的卷积层建立一个更抽象的概念),在手写识别等小规模问题上取得了当时的最好结果。2000年之后,gio等人开创了神经网络构建语言模型的先河。直到2001年,Hochreiter等人发现使用BP算法时,**在神经网络单元饱和之后会发生梯度损失**,即模型训练超过一定迭代次数后容易产生过拟合,就是训练集和测试集数据分布不一致(就好比上学考试的时候,有的人采取题海战术,把每道题目都背下来。但是题目稍微一变,他就不会做了。因为机器非常复杂地记住了每道题的做法,却没有抽象出通用的规则)。神经网络又一次被人们所遗弃。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/18/1652862269528669537.png) 3. 然而,神经网络并未就此沉寂,许多学者仍在坚持不懈地进行研究。2006年,Hinton和他的学生在Science杂志上发表了一篇文章,从此掀起了深度学习(Deep Learning)的浪潮。深度学习能发现大数据中的复杂结构,也因此大幅提升了神经网络的效果。2009年微软研究院和Hinton合作研究基于深度神经网络语音识别,使得相对误识别率降低25%。2012年,Hinton带领学生目前最大的图像数据库ImageNet上,对分类问题取得了惊人成果,将错误率由26%降低至15%。 再往后的一个标志性时间是2014年,lan Goodfellow等学者发表论文提出题目中的“生成对抗网络",标志着GANs的诞生,并自2016年开始成为学界、业界炙手可热的概念,它为创建无监督学习模型提供了强有力的算法框架。时至今日,神经网络经历了数次潮起潮落后,又一次站在了风口浪尖,在图像识别、语音识别、机器翻译等领域,都随处可见它的身影。
  • [其他] 浅介机器学习算法四种类型
    机器学习算法四种类型:有监督,半监督,无监督,强化学习。    监督学习    在监督学习中,机器是通过示例进行教学的。操作员向机器学习算法提供一个包含所需输入和输出的已知数据集,并且该算法必须找到一种方法来确定如何得出这些输入和输出。当操作员知道问题的正确答案时,该算法可以识别数据中的模式,从观察中学习并做出预测。该算法进行预测并由操作员进行校正-直到该算法达到较高的准确性/性能水平为止,此过程将继续进行。    半监督学习    半监督学习与监督学习相似,但是使用标签数据和未标签数据。标记数据本质上是具有有意义标签的信息,因此算法可以理解该数据,而未标记数据则缺少该信息。通过组合这些技术,机器学习算法可以学习标记未标记的数据。    无监督学习    在这里,机器学习算法研究数据以识别模式。没有答案键或人工操作员来提供说明。相反,机器通过分析可用数据来确定相关性和关系。在无监督的学习过程中,机器学习算法被用来解释大型数据集并相应地处理该数据。该算法尝试以某种方式组织数据以描述其结构。这可能意味着将数据分组到群集中或以看起来更有条理的方式进行排列。    强化学习    强化学习专注于有条理的学习过程,其中机器学习算法提供了一组动作,参数和最终值。通过定义规则,机器学习算法然后尝试探索不同的选项和可能性,监视和评估每个结果以确定哪个是最佳的。强化学习可以教机器尝试和错误。它从过去的经验中吸取教训,并开始根据情况调整其方法以实现最佳结果。
  • [其他] 机器学习以及深度学习
    所谓“ 机器学习” , 是指利用算法使计算机能够像人一样从数据中挖掘出信息; 而“ 深度学习”作为“机器学习”的一个**子集**, 相比其他学习方法, 使用了更多的参数、模型也更复杂, 从而使得模型对数据的理解更加深人, 也更加智能。 传统机器学习是分步骤来进行的, 每一步的最优解不一定带来结果的最优解; 另一方面, 手工选取特征是一种费时费力且需要专业知识的方法, 很大程度上依赖经验和运气。 而深度学习是从原始特征出发, 自动学习高级特征组合, 整个过程是端到端的, 直接保证最终输出的是最优解。但中间的隐层是一个黑箱, 我们并不知道机器提取出了什么特征 。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/17/1652777450611952644.png)
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第3章华为云EI-API服务介绍-知识传递
    获取您的EI红宝书:https://www.huaweicloud.com/ei/                     华为云EI服务介绍:https://mp.weixin.qq.com/s/f1McTHORZ3OHLSGJHGrc-Q            01 图像识别API服务介绍  https://mp.weixin.qq.com/s/OdfsOTDkBpwLucHhipaXlg            02 图像搜索API服务介绍  https://mp.weixin.qq.com/s/wkelUMwPi7yrgEQfASgODQ            03 内容审核API服务介绍  https://mp.weixin.qq.com/s/HC_aZCfIIF1Ke8ofsUeijw            04 文字识别API服务介绍  https://mp.weixin.qq.com/s/1y6pG2LM83cs4OexHLTBjw            05 自然语言处理API服务介绍  https://mp.weixin.qq.com/s/C196lNKhiA4oeaelvh92hQ            06 语音交互API服务介绍  https://mp.weixin.qq.com/s/QeJ2e7XN9E-Rw3lFSKeA4Q                                            云与数据- HCCDA-AI合集:https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [技术干货] 社区论坛活动集合——5月-活动全集
    DevCloud活动:本月DevCloud论坛带来了全新活动!体验10分钟开发增值税发票文字识别应用,赢取手环、帆布包、京东卡等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187878体验5分钟完成文字转定制化语音,赢取手环、帆布包、运动汗巾等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187871体验5分钟完成软件包合规&安全扫描,赢取手环、帆布包、运动凉巾等好礼https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187857【HCSD集训营】软件流水线专场活动开始啦!https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187452【一行代码秒上云应用开发实训营】一站式学习路径,领官方证书,赢无线耳机、拍立得、机械键盘、京东卡等丰富好礼!https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187373体验5分钟完成微信小程序开发,赢取手环、帆布包、运动汗巾等好礼https://bbs.huaweicloud.com/forum/thread-187859-1-1.html AppCube体验官活动来袭,做任务,提建议,千元大奖等你带回家!https://bbs.huaweicloud.com/forum/thread-185903-1-1.html HCSD-DevCloud训练营https://developer.huaweicloud.com/signup/1fd79f75d76a406294531eae2fb65fba社区活动:(获奖与已开启活动名单)【机器人7天训练营每日打卡】参与华为数字机器人7天训练营每日任务打卡,大奖等你来拿~(获奖名单)https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187439【打卡信息公布】14天代码重构课程打卡名单公示https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=187678【云声·建议】4月产品建议专场,华为智能音箱等你来领(获奖名单)https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=184459【华为云x脉脉】与高手共舞,华为云体验官招募计划(获奖名单)https://bbs.huaweicloud.com/forum/thread-181558-1-1.html(获奖公布)【机器人7天训练营学习心得】华为数字机器人7天训练营学习心得征集https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=185359(获奖公布)【机器人7天训练营专家坐堂】华为数字机器人7天训练营专家坐堂答疑,帮你快速提升还可领取奖品!https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=185361以上为获奖名单 以下为现有活动的华为1+X移动应用开发暨开发者创新中心高级师资培训https://developer.huaweicloud.com/signup/8d665d692ebc490fa31f56debba9e9ab【HCSD实训营】第一期https://developer.huaweicloud.com/signup/b3b4fafd3406465c8ec78902603b691aHCSD校园大使招募—2022年度第二期https://developer.huaweicloud.com/signup/5e07d65511b14a89b162a91f89ab0f07DevRun AI应用开发-Python实战营https://developer.huaweicloud.com/signup/9ac7207359e74a73b648d6f2a9ab62f62022鲲鹏应用创新大赛https://developer.huaweicloud.com/signup/15a3840a3e7b4e23a28232c13e8da06e华为云VSS移动应用安全服务体验https://developer.huaweicloud.com/signup/0f551f97b0ab4056bfe529a7387d4f40 数据库活动:【奖品丰厚】2022HCSD实训营第一期——躬身入局,一览华为云数据库https://bbs.huaweicloud.com/forum/thread-185116-1-1.htmlGaussDB(for Redis)技术文章有奖征集!https://bbs.huaweicloud.com/forum/thread-187195-1-1.html#常年征集#【有奖征集to开发者】数据库有约,说出你的故事https://bbs.huaweicloud.com/forum/thread-185888-1-1.html【2022年度用户激励体系】华为云数据库开发者基础激励https://bbs.huaweicloud.com/forum/thread-185862-1-1.html【2022年用户激励体系重启】华为云IoT开发者基础激励~参与互动就有奖哦~https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=183646物联网活动:【2022年用户激励体系重启】华为云IoT开发者基础激励~参与互动就有奖哦~https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=183646【攻城狮宝典】AI、IoT、大数据等16个热门开发方向学习大礼包(华为认证官方学习材料),含115个视频课程、10万+页PPThttps://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=182983鲲鹏活动:2022鲲鹏应用创新大赛火热开启!投票最火赛题、分享海报,赢智能手表、音箱等好礼https://bbs.huaweicloud.com/forum/thread-182833-1-1.html【鲲鹏应用创新大赛直播课第1期】2022鲲鹏应用创新大赛赛事解读,看直播写学习笔记赢好礼!https://bbs.huaweicloud.com/forum/thread-186991-1-1.html[找bug,有惊喜!] 参与鲲鹏BoostKit文档“捉虫”活动,赢音箱、手环等好礼!https://bbs.huaweicloud.com/forum/thread-185855-1-1.html 鲲鹏技术文章征集计划开启!写文章,赢华为手表、耳机等好礼!https://bbs.huaweicloud.com/forum/thread-184800-1-1.html昇腾活动:【昇腾畅作社第一季】汇聚AI领域开发者 · 分享AI技术 赢取Switch等丰厚奖品!https://bbs.huaweicloud.com/forum/thread-183575-1-1.html#活动已结束,获奖名单已公布#【创享日·昇腾AI训练营-CANN训练营西安专场】全方位硬核技术知识、免费实战体验,特享任天堂游戏https://bbs.huaweicloud.com/forum/thread-184515-1-1.html 早起给小伙伴整理的~ 欢迎小伙伴们补充和说明哦!                        更新时间:2022.5.17       
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 第2章 人工智能应用集成分析-知识传递
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462002460141317.png) 获取您的EI红宝书:https://www.huaweicloud.com/ei/ # 1.1 AI技术发展现状及技术挑战 ## 1.1.1 计算机视觉发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/image.html 计算机视觉是使计算机能理解采集设备采集的图像视频的一门学科。形象地说,就是给计算机安装上眼睛(照相机)和大脑(算法),让计算机能够感知环境。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461416874478021.png) 如上图所示,真实的世界通过人眼成像,再传递给大脑进行理解,达到理解图像的目的;在机器视觉中,采集设备作为传感装置采集图像,将图像传递给计算机解读,最终达到计算机像人一样“读懂”图片的目的。 ### 能干什么? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461565072415693.png) ### 有什么? ##### ① 视觉任务划分 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461621537644789.png) 中级视觉的物体检测包含2个任务:物体定位和分类 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461822933594109.png) 有时我们也会说计算机视觉有四大类任务:分类、定位、检测、分割。 ##### ② 视觉的三个层次 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461688891753994.png) 底层一般是像素级处理,比如亮度增强、直方图、直方图均化等; 中层即从中分析一些边缘、朝向、纹理等这些特征,可以对图片进行一个分割; 高层需要我们从中得到一些语义信息,比如图片中间是老虎,下边是沙滩,绿色的是草地,这可能是一个野外场景 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461373371901001.png) ## 1.1.2 自然语言处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/nlpf.html 自然语言处理的处理主要包括两个部分:自然语言理解、自然语言生成 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461221554996108.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652461261899121273.png) 自然语言理解(Natural Language Understanding,NLU) 使计算机理解自然语言(人类语言文字)等,重在理解。具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。如情感识别、意图识别、信息检索(包括个性化搜索和语义搜索,文本匹配等)、信息抽取(命名实体提取、关系抽取、事件抽取等)。 自然语言生成(Natural Language Generation, NLG) 提供结构化的数据、文本、图表、音频、视频等,生成人类可以理解的自然语言形式的文本。NLG又可以分为三大类,文本到文本(text-to-text),如翻译、摘要等;文本到其他(text-to-other),如文本生成图片;其他到文本(other-to-text),如视频生成文本。 ### 能干什么? 例: 智能问答 舆情分析 文本分类 实体抽取 摘要生成 AI写诗 机器翻译 内容审核 文本互译 ...... ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460754955869960.png) ## 1.1.3 语音处理发展现状及技术挑战 ### 是什么? https://www.huaweicloud.com/product/rasr.html ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460634874321882.png) ### 能干什么? 例: 实时字幕 会议记录 语音搜索 语音导航 有声阅读 ### 面临的挑战? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460728571303721.png) # 1.2 AI应用需求分析 ## 1.2.1 传统软件应用开发与AI应用开发对比 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459466560286171.png) ## 1.2.2 为什么需要进行需求分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652460021313211343.png) ### 1.2.2.1 AI应用开发需求分析步骤 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459658947449743.png) ### 案例:实例演练--智能人体测温监测系统 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459719675956096.png) ##### ① 需求背景 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459902567976285.png) ##### ② 需求价值 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459918708130176.png) ##### ③ 需求描述 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459926968703140.png) ##### ④ 问题抽象 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459936087416782.png) ##### ⑤ 可行性分析 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652459955955590397.png) 人工智能入门级开发者认证:https://edu.huaweicloud.com/certificationindex/developer/aaabf9760a3f4578aa620155e1fcae86 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/14/1652462051683666717.png)
  • [认证交流] 华为云人工智能入门级开发者认证 - HCCDA-AI 更多Other章节 -- 云与数据
    ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596136464466668.png) - **获取您的EI红宝书:https://www.huaweicloud.com/ei/** ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596251686657653.png) ![公众号.jpg](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/15/1652596841773138256.jpg) - **云与数据** https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg5Mjc4NjE1Nw==&action=getalbum&album_id=2398219468813811715&scene=173&from_msgid=2247483927&from_itemidx=1&count=3&nolastread=1#wechat_redirect**
  • [其他] 边打麻将边养牛?多吃肉
    “边打麻将边在手机上看护养殖场”,这将是怎样的体验?AI摄像头正是开启智慧养殖的第一步。华为云为天视通提供的智能摄像头自定义算法定制部署一体工作流解决方案,基于华为云企业级AI应用开发套件ModelArts Pro与端云协同多模态AI应用开发平台HiLens,不需要高阶AI能力就能覆盖大部分的零散AI定制需求,并能零代码迭代部署AI算法到端侧设备。以牲畜健康监管为例子,天视通利用摄像头从养殖场实际采集到的健康牛和生病牛的一些体态及日常行为特征图片数据,通过ModelArts对监控视频中的牛进行标注,之后再启动模型训练,确认模型的效果后,将该技能一键发布到华为云的AI算法市场AI Gallery。天视通在华为云AI Gallery上,下载新的牛生病行为检测技能到天视通技能管理APP。工作流的算法后装功能,可以通过天视通技能管理APP一键部署到牛场已安装的摄像头里,在家里的监控屏前就能实时看到牛场里每一头牛的状态。天视通技术负责人这样谈到他对AI赋能智慧养殖的理解:“畜牧业是一个智能化启动较晚的行业,但实际上却非常重要,关系到每个家庭的日常生活。这些年食品安全一直处在风口浪尖,产业的规模化和IT技术的应用精准管理成为可能,从养殖过程自动化管理到全流程溯源就是大家如今看到的热门应用。带有AI技能的摄像头不仅在工具层面解决了养殖场的人力问题,通过智能化还能解决禽畜的健康问题。正是得益于华为云AI技术所积累的场景化行业工作流能力,帮助天视通快速完成面向特殊场景算法的开发和一键式远程部署。此次华为云所提供的方案分为四个部分:数据标注:通集摄像头场景需求和少    量数据,华为云利用ModelArts标注工具完成对图片标注;算法训练:工作流内置行业主流标准算法,一键启动即可进行训练,生成算法并能直接查看模型性能;算法优化:训练完之后在平台上就能生成针对具体摄像头硬件的优化过的高性能算法。针对客户的硬件平台,优化适配模型与技能,实现一键技能发布;算法部署:生成的算法部署到实际应用的摄像头中,再结合HiLens的端云部署能力,完成对算法授权管理,上架到手机端的算法市场APP。作为解决方案的核心,华为云EI工作流以业务场景为中心,以“定义场景→分布实施→持续迭代→形成闭环”的模式,通过聚焦各行业可落地的AI开发方式,为服务客户提供基于场景化的工作流,完成全流程的AI开发及迭代。- 降低AI开发门槛:零AI知识、特殊场景,算法定制化开发不在话下借助AI开发低门槛的华为云EI工作流,无需AI知识,天视通员工可基于摄像头产品,无论客户的需求场景是否存在行业特殊性,都能快速定制出符合实际场景应用的算法,从而让天视通快速且准确的提供合作伙伴所需的方案。- 端云协同:零代码部署、后装算法,无惧芯片性能结合华为云的ModelArts Pro和HiLens平台,通过端云协同开发,可将算法零代码迭代部署到端侧的摄像头模组上,操作灵活、迭代迅速,不用投入大量人力手动开发。天视通利用华为云EI工作流的一键式远程部署,实现了算法的快速迭代更新。针对天视通的低端芯片产品,华为云可通过HiLens平台部署算法,让低端芯片硬件运行AI算法也都能毫无压力。同时打通天视通手机侧算法APP市场与华为云AI Gallery,为天视通产品提供可选后装的算法,提升天视通产品在应用场景中的更多可能性。转发自:https://mp.weixin.qq.com/s/cK4p83AXT6_LkZBcw0lgLw
  • [热门活动] 【机器人7天训练营每日打卡获奖名单】参与华为数字机器人7天训练营每日任务打卡,大奖等你来拿~
    恭喜获奖的各位开发者请大家在5月31日前点击下方链接填写获奖信息我们会在截至日期结束之后尽快给您邮礼品如您逾期没有填写,视为主动放弃奖励,望周知。获奖信息填写链接:【数字机器人7天训练营用户体验及获奖信息收集问卷】活动已结束,获奖名单如下所示,公示5天公示期结束后(5月16日)获奖者可在本帖填写奖品邮寄信息收集问卷。公示期:5月11日-5月15日抽奖说明:此次机器人7天训练营活动打卡情况统计如下:完成7天打卡用户人数272人完成5天打卡用户人数288人完成3天打卡用户人数328人为保证公平性,3/5/7天连续打卡用户不可重复中奖,故每轮抽奖将剔除上一轮已获奖者再进行抽奖。抽奖资格名单详见公示帖:【打卡信息公布】华为数字机器人7天训练营课程打卡名单公示奖品及中奖概率:(1)连续完成3天打卡可获得抽奖机会,奖品为手机支架,奖品数量上限为50份,中奖概率(≤100%)为“50/完成连续打卡3天任务的总人数”。(2)连续完成5天打卡可获得抽奖机会,奖品为文件收纳袋,奖品数量上限为30份,中奖概率(≤100%)为“30/完成连续打卡5天任务的总人数”。(3)连续完成7天打卡可获得抽奖机会,奖品为文化衫,奖品数量上限为50份,中奖概率(≤100%)为“50/完成连续打卡7天任务的总人数”。中奖名单如下:【机器人7天训练营】连续7天打卡中奖用户名单序号获奖名单微信名称奖品1yd_284592571黎*良Polo文化衫1件2yd_253392258黄*轩Polo文化衫1件3yd_269855115湫*Polo文化衫1件4小丙张嘎小*张嘎Polo文化衫1件5yd_258875709陈*Polo文化衫1件6yd_242467157缄*Polo文化衫1件7yd_2343646978*Polo文化衫1件8yd_59330120F*ngYTPolo文化衫1件9yd_230817202垒*Polo文化衫1件10coxule乐*Polo文化衫1件11yd_286404203权*是我Polo文化衫1件12yd_279627347w*ngxO718Polo文化衫1件13星卫伟是*。Polo文化衫1件14suhouyi机*自然Polo文化衫1件15yd_261189331淑*Polo文化衫1件16yd_220610967李*刚Polo文化衫1件17Louis.Wong路*Polo文化衫1件18yd_233958390P*1arBearPolo文化衫1件19f8595734黎*恒Polo文化衫1件20yd_298140091E*enaPolo文化衫1件21骆思怡骆*的包子Polo文化衫1件22Ania小*Polo文化衫1件23yd_221835864咩*Polo文化衫1件24yd_268853633虚*灵魂.Polo文化衫1件25yd_279964090鸵*蛋Polo文化衫1件26yd_276105420滢*Polo文化衫1件27yd_213505431s*ilePolo文化衫1件28EdwardHeE*wardPolo文化衫1件29x19x*9Polo文化衫1件30yd_213006313**Polo文化衫1件31晴空1晴*Polo文化衫1件32yd_272465320s*ccessfulPolo文化衫1件33尘光知*Polo文化衫1件34yd_263739230爱*奶茶的小笨蛋Polo文化衫1件35yd_257379412筱*Polo文化衫1件36yd_262486321h*Polo文化衫1件37xdao晓*Polo文化衫1件38yd_229912734叶*Polo文化衫1件39yd_265038284爱*环境人人有责Polo文化衫1件40yd_236294355长*未熹Polo文化衫1件41yd_266544340@*Polo文化衫1件42yd_271953468S*KJPolo文化衫1件43yd_234581469林*伟Kiwi.LinPolo文化衫1件44yd_223789468弦*Polo文化衫1件45yd_247714391孤*_.烛影Polo文化衫1件46yd_216671234比*·滑稽顿Polo文化衫1件47君临天下夜未央l*jPolo文化衫1件48yd_288123056浅*Polo文化衫1件49yd_261400063e*zerliuPolo文化衫1件50yd_234739558s*cPolo文化衫1件【机器人7天训练营】连续5天打卡中奖用户名单序号获奖名单微信名称奖品1yd_263664103T**prince.文件收纳袋1个2yd_222190917S**ne文件收纳袋1个3yd_27314541无**文件收纳袋1个4咿哟咿**文件收纳袋1个5yd_247655316神**文件收纳袋1个6toveyloveT**ey文件收纳袋1个7頭文字CI**UNUSED文件收纳袋1个8yd_227802471楠**文件收纳袋1个9yd_212526132C**oeGao文件收纳袋1个10yd_292549114快**最懂文件收纳袋1个11istacki**ack文件收纳袋1个12Giddd龚**文件收纳袋1个13wuyicom毅**文件收纳袋1个14yd_284002874嗷**梨赫本文件收纳袋1个15show show wayf**ever文件收纳袋1个16yd_251601352久**文件收纳袋1个17yd_248047134A**leee文件收纳袋1个18yd_276572627小**文件收纳袋1个19yd_281512538B**rY文件收纳袋1个20yd_298646534g**cbflccygg文件收纳袋1个21yd_53240243d**文件收纳袋1个22yd_244985317苹**吉文件收纳袋1个23yd_245402815拾**文件收纳袋1个24yd_220933948L**134314文件收纳袋1个25yd_220719741C**X-Mar.2文件收纳袋1个26yd_250608575A**文件收纳袋1个27yd_274395701肖**文件收纳袋1个28yd_226437634S**leAgain文件收纳袋1个29yd_273726733一**leo的panda文件收纳袋1个30yd_260142382x**olong文件收纳袋1个【机器人7天训练营】连续3天打卡中奖用户名单序号获奖名单微信名称奖品1yd_270226105张*晖手机支架1个2yd_272834038与*星散步.手机支架1个3yd_291016938肖*手机支架1个4liming李*手机支架1个5yd_213290046冰*手机支架1个6limpid_luster福*手机支架1个7yd_242053686胖*手机支架1个8zwt123456意*手机支架1个9yd_244996194y*ya198142手机支架1个10yd_29066575T*AALL手机支架1个11懒残居士懒*居士手机支架1个12yd_213668435L*is手机支架1个13gaom0312K*nO手机支架1个14hw27927544m*手机支架1个15贫血小肥仔h*ward手机支架1个16yuebaoy*ebao手机支架1个17yd_290795058阿*手机支架1个18yd_264219771咫*的梦想手机支架1个19yd_213392987G*ro手机支架1个20red-hatr*d-hat手机支架1个21yd_289949605王*耘手机支架1个22yd_264161713阿*手机支架1个23小糖饼最甜呀小*饼最甜呀手机支架1个24yd_230386954靜*手机支架1个25yd_238233429虫*手机支架1个26yd_215125861y*n手机支架1个27yd_256206021快*伽法手机支架1个28yd_253533456。*手机支架1个29yd_230695500h*022574309手机支架1个30蜡笔不辣C*itS手机支架1个31yd_253757449b*chelor手机支架1个32yd_267577836一*一天手机支架1个33鬓微霜赵*刚手机支架1个34yd_277314014F*_Y手机支架1个35yd_285857687d*ess手机支架1个36yd_232012720E*reka手机支架1个37yd_214297938紫*剑侠手机支架1个38yd_259215937夜*手机支架1个39yd_289597081w*id_0zt3ud427pzt22手机支架1个40yd_270392672沐*手机支架1个41mxlt清*手机支架1个42yd_291055819星*天空手机支架1个43yd_230547215S*ACO手机支架1个44yd_222994023晓*手机支架1个45yd_2156842580*手机支架1个46自驾人生自*人生手机支架1个47浪子6吴*子手机支架1个48HB1688h*n手机支架1个49ss_1122C*oiHung手机支架1个50yd_269199275Y*mmiLuo手机支架1个恭喜以上开发者,相关获奖名单信息和抽奖过程也可下载附件查看。公示5天,公示期结束后(5月16日)获奖者可在本帖填写奖品邮寄信息收集问卷。如有异议请联系华为云小助手01沟通。活动规则详见:https://bbs.huaweicloud.com/forum/thread-184640-1-1.html机器人7天训练营其他活动获奖公布:点击查看【学习心得获奖公布】-奖品:《ModelArts人工智能应用开发指南》1本点击查看【专家坐堂获奖公布】-奖品:无线鼠标1个
  • [热门活动] 「8小时玩转 openGauss 训练营」,它又㕛叒来了!
    近期疫情肆虐,此起彼伏,为了配合防疫工作,大家周末是不是少了好多去处?那么告诉你一个好消息:在家用周末双休日的两个下午时间,就能悄悄提升一大截本事的“8小时玩转 openGauss 训练营”它又㕛叒来了!训练营前两期活动反响热烈非常,共吸引2000+小伙伴参与学习,近200人顺利结营!那么这个训练营究竟有何魔力竟吸引如此多的技术爱好者争相参与?又能让大家收获哪些本领和福利呢?让我们一起来看下吧~openGauss 作为面向数字基础设施的开源数据库,于2020年6月30日正式开源后获得业界积极响应,当前10+家合作伙伴发布基于 openGauss 的商业发行版,联合伙伴和用户,构建了丰富的解决方案,已经在政府、金融、保险、电力等关键行业规模商用落地,比如邮储银行新核心系统、中华联合人寿团险核心交易系统、四川气象局气象观测数据系统等。截至目前,openGauss 已经吸引2900+社区贡献者,110+家企业加入社区,社区用户达到64万+。此外,openGauss 与产业界、教育界、学术界展开多方面的合作,推动数据库产业人才的发展。openGauss 已与超过70所重点高校达成开课意向;《openGauss 数据库核心技术》成为多所高校的专业辅助教材;openGauss 技术内容入选全国计算机等级考试二级、三级试题。openGauss 自开源以来的近两年时间里取得的高速发展和成绩,使其斩获 “2021年度卓越表现数据库奖”,取得墨天轮中国数据库流行度排行榜上的全年增长分数、复合增长率、半年增长分数“三冠王”称号,现已攀升至排行榜第一的位置!未来2-3年 openGauss 多维度的培养体系将会培养出成千上万的开发者和DBA,助力数据库人才发展。openGauss 正在成为国内主流的数据库核心技术路线。为了让更多的数据库技术爱好者、从业人员能够更深入地了解 openGauss、备考 OGCA,由 openGauss 社区、Gauss 松鼠会、云和恩墨联合主办的“8小时玩转 openGauss 训练营”主题活动迎来第三期,由 openGauss 资深技术专家们共同带来最精华、最实用、最高效的 openGauss 课程,让你快速掌握 openGauss 的核心架构及特色功能!出品人:李士福openGauss 布道师,数据库技术专家,openGauss 社区技术委员会成员,从事数据库内核研发 10+ 年,当前聚焦 openGauss 数据库AI能力研发以及生态推广。活动时间2022年05月14日(周六) 13:30 - 17:302022年05月15日(周日) 13:30 - 17:30课程安排在这里你将获得业内专家亲临指导业界资深专家共同授课,内容充实、结合实践,总时长8小时,用双休日的两个下午,让自己悄悄变优秀。技能提升快速成长训练营课程全部免费,更有作业和考试验证自己的学习成果,让专家带你快速成长。互动问答在线解惑直播期间在问答区提问,会从中抽取典型问题请老师在线解答。权威认证助你成功有机会获得一折报考 OGCA 的资格,为自己的职业生涯加码提薪。关于结营1. 完成两日签到学习(在直播间讨论区回复“签到”二字)2. 提交作业(在墨天轮发表参训学习心得)3. 通过在线结营考试(80分以上为合格)完成以上全部三项,可获得主办方联合颁发的结营证书 + 由 openGauss 社区提供的定制T恤一件 + 300元报名 OGCA 认证(培训&考试)的特惠资格A*。完成以上任意两项,可获得300元报名 OGCA 认证(培训&考试)特惠资格B*。完成以上任意一项,可获得300元报名 OGCA 认证(培训&考试)特惠资格C*。激励plus:额外在 openGauss 社区提交一篇blog(不限于学习心得)【点此查看提交方法】,可额外获得精美礼品( openGauss 技术书籍 / 定制雨伞 / 定制小风扇,三选一)。                                                                     (*注:各特惠资格的详细内容请点击文末“阅读原文”具体了解。)关于报名和社群为了便于学员与老师们互动交流,也方便大家可以及时收到有关训练营的通知(如:作业要求、考试信息等),请参加训练营的同学务必扫码加入“8小时玩转 openGauss 训练营活动群”,入群即视为报名成功!注:如果微信群无法扫码加入,请报名的同学添加Gauss松鼠会小助手微信(ID: Gauss_Asst666),发送暗号“训练营”,小助手将拉您进群。这种免费学知识还能得礼品的大好机会怎能错过?↑↑↑ 赶快扫**名吧!↑↑↑点击“阅读原文”查看活动详情
总条数:5192 到第
上滑加载中