【鲲鹏DevKit案例分享】| 中地数码：通过DevKit快速迁移智慧城市时空大数据平台政府及时预警暴雨天气下的道路积水信息并进行应急指挥园区通过人脸识别进行权限管理、智能运维、资产管理百姓通过地图随时查找附近停车空位、搜索周边景点……我们的城市正在变得更聪明企业运营越来越高效百姓生活越来越便利这就是新型智慧城市的目标：“优政、兴业、惠民”       作为城市信息化创新发展的高级阶段，新型智慧城市综合利用物联网、云计算、5G移动服务、信息融合等技术，实时感知检测与智能控制掌握城市运行状态信息，通过信息融合实现政府、企业、个人、基础设施等之间的高度协调运行，为社会发展、城市管理和人民生活创造和谐高效环境。       地理信息系统（geographic information system，GIS）是新型智慧城市的“大脑”，通过城市信息的实时获取、高效处理和快速响应，从而快速的发现问题、分析问题和解决问题，实现城市的智慧化运营。目前，越来越多的城市依托GIS进行城市的规划管理，从而让城市更加宜居，生活更加便利，决策更加精准。       中地数码集团是专业从事地理信息系统（GIS）研究、开发、应用和服务的云GIS软件平台和解决方案提供商。历经三十多年发展，其GIS核心技术已跻身国际一流行列。MapGIS智慧城市时空大数据平台作为其重要解决方案在国土、市政、公安、气象等领域有着广泛的应用。随着新型智慧城市的深入建设，以及大数据、云计算、智能化等新技术的演进，承载时空大数据平台的基础设施也迎来更多挑战：1. 大体量：数据规模基于城市区域规模呈指数级增长，例如城市三维建模涉及的动态数据量，一千平方公里可达到TB级，省级/国家级数据量可达PB级，随着三维建模业务需求越来越多，数据量爆发式增长，对大容量的数据存储和处理要求高；2. 高并发：海量数据面临高性能并发计算的挑战，地图数据服务的并发量平均可达数十万/秒； 3. 低时延：智慧城市IoT应用场景对数据实时处理要求很高，需要秒级完成数据的采集、分析、出结果。4. 低功耗：大规模的计算量带来了能耗提升，为响应国家环保号召，需要低功耗硬件实现节能减排。       因此，中地数码急需融合性能高效、自主程度更高的基础设施来承载MapGIS时空大数据平台，以满足城市级别的数据融合和管理，为用户提供更加灵活的一体化的方案。       鲲鹏由于其天然的多核多并发的扩展运行能力，以及高性能、高算力优势，能够很好的满足数据量大、并行计算、低时延等要求；同时提供完善的DevKit开发套件以及专业服务，能够快速实现迁移和调优。基于此，2020年12月，中地数码联合长江鲲鹏生态创新中心成立了MapGIS地理信息系统联合实验室，双方经过多轮技术测试及方案集成验证，推出长江鲲鹏&中地数码智慧城市时空大数据底座联合方案，基于鲲鹏平台部署智慧城市时空大数据底座联合方案，从而提升应用系统的运行效率，打造智慧城市应用基座。【基于鲲鹏的智慧城市时空大数据底座联合方案—总体架构】       在项目实施过程中，由于指令集差异问题，需要把MapGIS时空大数据平台迁移到鲲鹏平台上重新编译运行。然而该应用的代码量和代码组织都很复杂，给迁移工作带来不少挑战：• 依赖库、第三方软件多：包含100+so动态库，500+JAR包，全部需要通过手工查找、迁移，非常耗时；• 代码量大：三个待迁移产品涉及10个服务，共计122万行代码；经过分析，如果通过人工迁移，整个项目的迁移需要近100人月才能完成，工作量巨大。       为了解决上述迁移问题，中地数码在对接过程中使用了鲲鹏DevKit开发套件进行快速迁移和调优，将GIS运维管理中心、存储引擎MapGIS DataStore、分析引擎MapGIS IGServer-X三个重要应用迁移到鲲鹏平台。在DevKit的帮助下，单应用仅需1.5人天即可完成迁移，三个应用总计6人天完成了迁移，并且迁移之后应用的性能更佳。• 快速迁移：通过代码迁移工具完成应用的扫描、分析、代码移植，平均迁移效率1.5人天每应用       通过DevKit鲲鹏开发套件中的代码迁移工具Porting Advisor进行工程文件的自动扫描分析，快速定位所要移植的代码并评估工作量，从而帮助迁移人员更好的规划迁移工作。同时，该工具还能自动标识需要修改的代码并给出修改建议，并且可直接从分析报告中获取鲲鹏兼容的JAR包下载地址，避免了人工查找时间长、门槛高、效率低的问题。       在上述工作中，迁移人员通过Porting Advisor共识别出依赖文件108个，已兼容JAR包41个，去重待验证JAR包9个，去重待验证so文件58个，其中兼容JAR包可直接下载替换，整个迁移加调优平均单应用耗时1.5人天，大大提高了迁移效率。使用代码迁移工具分析结果对比图【分析前】使用代码迁移工具分析结果对比图【分析后】• 编译调试：使用毕昇JDK实现13~15%的程序运行效率提升       在编译的过程中通过编译器毕昇JDK提升编译后的程序运行效率，由于毕昇JDK在鲲鹏平台上进行了优化和稳定性增强，尤其针对存储引擎和分析引擎等对并发要求高的应用场景能够提供更好的编译性能。基于MapGIS程序进行测试评估：相比于Oracle JDK，使用毕昇JDK后可以实现10~15%的运行效率提升。使用Oracle JDK1.8的Spark性能分析结果使用毕昇 JDK1.8的Spark性能分析结果使用毕昇 JDK11的Spark性能分析结果• 性能调优：基于Java性能分析工具深度优化GIS平台，整体性能提升18-20%；在性能调优过程中还应用到鲲鹏性能分析工具，监控和优化操作系统、JVM的运行状态，提升MapGIS程序（存储引擎&分析引擎）运行的效率：1）通过Java优化工具有效分析应用场景下系统资源的使用情况及利用率等，避免系统过载；2）通过Java性能优化工具有效分析应用JVM运行情况，给出最优配置，避免JVM过载、GC及时释放资源，提升运行效率；3）进行业务系统的并发参数调优，提升大数据处理下的并发任务数。迁移人员基于矢量大数据分析和影像大数据分析两个场景进行了调优前后的对比测试：在矢量大数据分析场景中对某省千万级土地利用图斑数据进行分析，整体分析速度平均提升20%；在影像大数据分析场景中，对1.5T影像数据进行发布，整体速度提升18%；【大数据分析场景性能对比图】经过DevKit的一系列迁移和调优，智慧城市时空大数据底座联合方案快速完成了业务部署。目前该方案已经在数字政府、智慧城市、自然资源等众多领域落地。同时，该方案还在2021年7月鲲鹏应用创新大赛2021湖北赛区中斩获了金奖。     作为鲲鹏计算产业生态重要伙伴，中地数码已与长江鲲鹏生态创新中心建立长期合作关系，未来，鲲鹏还会为伙伴和开发者提供完备、易用和高效的工具链，使能伙伴联合创新，打造更具竞争力的行业解决方案，促进千行百业数字化转型，也为数字经济发展提供源源不断的动能。【登陆鲲鹏社区DevKit专区，了解更多详情】

问题：执行脚本后HDFS NameNode自动停止分析过程:查看日志，发现Hive报错堆内存溢出，HDFS报NameNode连接超时导致停止运行等错误。查看name node机器环境：lscpu查看负载：top分析到系统numa个数只有2个以及网络中断很高，怀疑网卡版本有问题。查看网卡版本：ethtool -i enp4s0发现是1822网卡，驱动未升级。排查集群机器解决方案：升级网卡驱动以及关闭DIE交织升级后的网卡关闭DIE交织后，正常显示4个numa对机器升级驱动以及关闭DIE交织后，再次执行脚本Namenode正常，distcp任务运行时间由2个多小时降低至3分钟左右问题二：mapreduce提交任务计算时，job已经结束，但是容器仍不能关闭持续等待五分钟问题原因：ATSv2的嵌入式HBASE崩溃。解决方案：重置ATsv2内嵌HBASE数据库1.停止Yarn服务Ambari -> Yarn-Actions -> Stop2.删除Zookeeper上的ATSv2 Znodezookeeper-client -server zookeeper-quorum-serversrmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure（如果是kerberized集群）3.从HDFS移动Hbase时间线服务器Hbase嵌入式数据库hdfs dfs -mv /atsv2/hbase/tmp/4.开始使用yarn服务Ambari - > Yarn-Actions- > Start再次重新提交任务，发现程序正常，问题解决，任务时间由14分钟降低至8分钟左右

此贴为《华为云MRS介绍&如何使用MRS服务》课后操作任务打卡专用查看更多操作任务请点击：》》点击前往《《查看全部活动任务&信息请点击：》》点击前往《《按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用https://activity.huaweicloud.com/Date-free.html领取时请保证领取区域一致，推荐  华南-广州  操作考核方式：《华为云MRS介绍&如何使用MRS服务》课后操作任务用户前往》》课程报名《《课程，并按照操作文档进行操作，按照指导完成实验，最后按照要求截图+华为云账号回复至本帖内，视为完成任务。需要截图截出图1-9，并显示用户名称，无名称则无效活动规则：a. 回复非按要求的图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

各位亲爱的开发者们华为云【大数据全栈成长计划】已经正式开课啦~完成课程任务累计积分可以得到GT2智能手表、华为真无线蓝牙耳机、WiFi6路由器等惊喜大奖所以，积分对大家真的很重要哦小助手限时开启【限时分享积分赛】分享海报获得20课程积分！往下具体康康到底怎样拿到本次积分》》参与活动前请先点击这里报名活动《《◎获得积分动作：方式一：转发下方活动海报至朋友圈，+转发语：我已报名华为云大数据全栈课程，抢到了官方免费培训资格，快来跟我一起免费学习吧！，公开可见保持2小时以上，将转发内容截图回复至下方评论区！记住：一定要公开可见保持2小时哦~方式二：使用个人专属分享邀请链接至朋友圈+转发语：我已报名华为云大数据全栈课程，抢到了官方免费培训资格，快来跟我一起免费学习吧！，公开可见保持2小时以上，将转发内容截图回复至下方评论区！记住：一定要公开可见保持2小时哦~》》》了解获取个人专属分享邀请链接方式《《《◎第一期分享活动期限：2021年11月19日-11月21日23:59结束◎第二期分享活动期限：2021年11月26日-11月28日23:59结束◎获积分方式：在从此期限内所有按要求完成分享并回复楼层的用户每人都会获得20积分（积分会累计在最终的积分排行中）◎活动规则：1. 每个华为云账号用户仅可获得一次积分奖励，多个微信号转发视为无效2. 本次课程具体内容可点击链接：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html3. 本次活动回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html

这一期【大数据全栈成长计划】的目的就是想让大家在学练结合在课程中我们设置了很多操作任务供大家练习参与操作任务不仅可以锻炼自己的实操能力还能巩固学习知识，获得积分换取好礼！按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《考核打卡时间即日起-2021年12月19日考核打卡内容及要求完成全部课程考核才能获得课程证书参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用：https://activity.huaweicloud.com/Date-free.html 操作考核列表：《星际探索demo》操作任务：前往了解任务，回到本帖完成打卡《华为云MRS介绍&如何使用MRS服务》课后操作任务：前往任务帖，回复到任务帖完成打卡《华为云原生大数据serverless服务DLI》课后操作任务：前往任务帖，回复到任务帖完成打卡最终考核认定（领取实体证书）全部完成以上三种实验后自动获得资格，将在活动结束后公示名单完成三个操作任务并对应回复截图后，可获得实体证书请在此问卷中登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666 操作考核方式：一、《星际探索demo》操作任务下载附件星际探索demo，按照指导完成实验，最后按照要求将实验结果截图+华为云账号回复至本帖内，视为完成任务。打卡截图示例（请将最终效果截图即可）：华为云账号+打卡截图二、《华为云MRS介绍&如何使用MRS服务》课后操作任务前往任务帖，回复到任务帖完成打卡三、《华为云原生大数据serverless服务DLI》课后操作任务前往任务帖，回复到任务帖完成打卡活动规则：a. 回复非示例图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html《星际探索demo》操作任务社群限时活动获奖名单（获得三合一数据线）获奖名单@wuArchivelwq1228许久修罗哦以下用户获得《大数据全栈成长计划》实体证书，请于22日前填写信息用于证书制作：请在此登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666孤星恋悦Aniahw31656882凉小汐云外山河新手上路001lwq1228Overthinkerzhy1003爱学习的多宝Archivewuyicomdamenzekelovenihttluv　zhujie去休mikey小小的愿望　大妮子奋斗青年_93HNULIJILEI话不多先生　

DevRun在线训练营【大数据全栈成长计划】已上线报名现已开启>>>>>>>点击此处了解详情邀好友，学课程，赢大礼！邀请好友一起报名学习大数据课程，就有机会得到好礼！一起学习，共享进步！-邀请活动时间：即日起-2021年12月19日课程结束活动奖励>>>>邀友报名活动， 享受以下奖励：奖励1：完成一个有效邀请即可获得活动积分+10，最高150分奖励2：达到相应有效邀请人数即可获得以下奖品限时加倍奖励：达到相应有效邀请人数即可获得抽奖资格。说明：若邀请人数符合条件，则按照完成有效邀请时间进行排序发奖，限时加倍奖励以最大奖品为准，奖品不兼得。有效邀请：见下方活动规则邀请条件奖品名称获奖名额有效邀请人数≥100华为平板 M6 8.4英寸 4GB+64GB1有效邀请人数≥50猎人路由器2有效邀请人数≥25定制雷柏键盘6有效邀请人数≥10京东京造充电宝PD 18W 10000毫安20>>>>限时玩法升级，奖品加倍：邀请条件奖品名称抽奖名额有效邀请人数≥50智能保温杯2有效邀请人数≥30定制雷柏键盘4有效邀请人数≥10定制鼠标6有效邀请人数≥5文件收纳袋10邀请方式步骤一：邀请人成功报名【大数据全栈成长计划】活动后（点此去报名）点击图示中的“分享有礼”按钮步骤二：通过生成的专属链接/邀请二维码，即可邀请好友报名活动步骤三：好友点击邀请链接，报名即可。（邀请链接打开就是报名表格，无需填写【邀.请.码】）步骤四：邀请好友通过指定版块技能测评（见活动规则）活动规则>>>>参与邀请要求：1. 参与邀请用户与被邀请用户必须完成华为云官方平台实名认证；2. 参与邀请活动的用户需进行课程报名与学习，成功获取150+积分，且在课程学习积分榜前200名内；>>>>有效邀请者要求：1、被邀请用户必须完成华为云官方平台实名认证且报名本次活动：点击报名链接2、完成以下任意任务（选择1）被邀请用户需完成《大数据分析7天训练营》技能测试、完成后将成绩截图按照要求回复到指定活动贴：点击回复活动贴《大数据分析7天训练营》技能测试链接：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE272+Self-paced/about（选择2）被邀请用户需完成华为云专业技能测评指定版块、完成后将成绩截图按照要求回复到指定活动贴：点击回复活动贴-指定版块:   大数据开发工程师： 数据库技能测评、Python技能测评 Java开发工程师： Java技能测评C&C++开发工程师: Linux技能测评完成以上任选一个测评，并取得80分通过，即可计算为有效用户；-专业技能测评链接：https://devcloud.huaweicloud.com/expert/assessment/skill注意：被邀请者需符合以上两个条件才为有效邀请！！！注意事项活动从即日起至2021年12月课程结束止，此外时间内邀请人数不算有效邀请专属链接/二维码禁止在本期课程学习群内露出，如发现群内露出将取消活动邀请资格参与活动需获取专属链接，专属链接需大家按照上述活动步骤自行获取本次邀请活动为大数据全栈成长计划全阶段期间活动~全阶段结束后会在20个工作日内结算并将奖品寄出，寄出时间根据实际情况动态调整，如有延期敬请见谅；活动结束后将统计最终排名及获奖结果，如核查发现存在邀请账号为机器注册账号或无效账号将取消此部分邀请数据。如出现邀请人数并列的情况，按最先达成人数的时间优先排名。更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

    sqoop job   工具：            sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。sqoop job   工具：       sqoop  job工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop增量导入新数据。 sqoop语法：$ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)][  ]里面的是其它sqoop工具  两个()指的是本节介绍的参数和参数内容sqoop job的使用参数：Argument                                                                                                             Description--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- should be specified; this defines the saved job.--delete <job-id>Delete a saved job.--exec <job-id>Given a job defined with --create, run the saved job.运行任务时，可以使用--形式的参数覆盖之前创建时设置的参数--show <job-id>Show the parameters for a saved job.--listList all saved jobs创建自动增量导入任务：自动导入tbltest表格任务：​sqoop job  --create dbFood_tbltest  -- import  --connect jdbc:mysql://192.168.56.101:3306/dbFood  --username root --password root --table tbltest  --hive-import  --hive-table tbltest --null-string '\\N' --null-non-string '\\N'  --incremental append  --check-column id  --last-value 3 ​指令执行： sqoop job --exec dbFood_tbltest删除任务：sqoop job --delete dbFood_tbltest查看任务表：sqoop job --list 设置免密码：注意默认的情况下是要求输入数据库密码的，可以通过配置conf/sqoop-site.xml 指定sqoop.metastore.client.record.password为true避免配置为： <property>     <name>sqoop.metastore.client.record.password</name>     <value>true<value>     <description>If true, allow saved passwords in the metastore.     </description> </property> 2.hivesql sqoop部分笔记：15:381.sqoop抽取MySQL表格所有数据到hive表库：全量抽取数据：一：sqoop import --connect jdbc:mysql://192.168.56.101:3306/dbFood --username root --password root --table tblmovie --hive-import --fields-terminated-by ',' -m 1  二：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ --hive-table tbltest \ -m 1（表后追加方式）增量sqoop抽取MySQL数据到hive表：（抽取id 大于0的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tblmovie \ --hive-import \ -m 1  \--hive-table tblmovie \ --incremental append \ --check-column id \ --last-value 0  （抽取id大于2 的数据）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental append \ --check-column id \ --last-value 2  （修改后面的id123456就行）（根据时间增量抽取）：sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \--hive-table tbltest \ --incremental lastmodified \ --check-column recordetime \ --last-value "2021-10-31 15:15:15.0" 减量抽取数据：（用where设定条件）sqoop import \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-import \ -m 1  \ --incremental append \ --where "age>30" --check-column id \ --last-value 02.删除hive的表（删除hive表部分符合条件数据时，不能使用delete from 表名 的SQL语句）：    删除表中数据，保留结构：    truncate table 表名；    删除整个表：    drop table 表名；    删除整个表，不准备恢复时：    drop table 表名 purge;     删除部分数据：3.hive 逗号分隔符建表：create table tblmovie( id int , movieadress string, picture string, moviename string, score double, numofevalus int, situation string, information string, ROE double, moviememo string, recodetime date ) ROW FORMAT DELIMITED FIELDS TERMINATED BY','; (无主键外键) 创建一张和MySQL表相同表数据类型的hive表：sqoop create-hive-table \ --connect jdbc:mysql://192.168.56.101:3306/dbFood \ --username root \ --password root \ --table tbltest \ --hive-table tbltest   4.查看表信息：desc 表名；desc formatted 表名；(查看更加详细)5.查看hive库：show databases;

将jdk、hadoop安装包上传到服务器/usr 下（个人建议） 并解压到当前目录进入usr目录下 解压： tar -zxvf 压缩包名称删除压缩包：rm -rf 压缩包名称修改文件夹名称：mv 旧名/ 新名建议改为名称修改为以便后期清洗时用到 jdk   和   hadoop环境变量配置修改配置文件 vim /etc/profile在文件下面添加环境配置：可复制下面内容放到profile文件种最后：export JAVA_HOME=/usr/jdkexport HADOOP_HOME=/usr/hadoopexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop保存退出后，使文件生效：source /etc/profileHadoop 配置需要配置文件目录：/usr/hadoop/etc/hadoop先进入 cd /usr/hadoop/etc/hadoop然后 vi hadoop-env.sh 进入hadoop环境中  JAVA_HOME=修改为：/usr/jd配置 core-site.xml 。需要配置：外部访问地址路径、临时文件的存储目录    <property>    <name>fs.defaultFS</name>    <value>hdfs://192.168.229.141:8020</value>        注意 ip地址为虚拟机的ip</property><property>    <name>hadoop.tmp.dir</name>    <value>/usr/hadoop/tmp</value></property>hdfs-site.xml  主要设置：namenode、datanode、分布式数量<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/hadoop/tmp/dfs/data</value></property>Hadoop 格式化hdfs namenode -formatHadoop 启动：start-dfs.sh检查是否启动成功：jps

ROMA 20.0.0.SPC12API 接口最大请求数据为多少？使用postMan 请求ROMA接口 请求不到是怎么回事？Topic 消息体最大值是否可以通过系统参数调节大小？

学习想要学得好基础很重要华为云特别推出各领域工程师技能测评来测一测你的基能力怎么样？快来测测看吧~参与活动将会获得华为云认证电子证书、电子勋章（12月底发放）》》参与活动前请先点击这里报名活动《《任务时间2021.11.1-2021.12.19任务规则选择一（推荐）须用电脑：1、点击链接进入云学院技能测评：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE272+Self-paced/about2、 70分测评后即可通过（12月底发放电子证书到账户），之后请大家将测评通过成绩截图，按要求回复到本帖评论区（露出成绩左上角华为云账号）回复正确格式：grandmaster+成绩70分通过截图如 grandmaster+“图片”选择二：1. 点击链接进入测评平台：https://devcloud.huaweicloud.com/expert/assessment/skill2. 下拉对话框选择大数据开发工程师3. 选择自己掌握的任一类语言的任一等级点击进入完成测评，达到80分以上即为通过4. 通过测评后即可点亮徽章，之后请大家将测评通过截图+点亮的徽章截图，按要求回复到本帖评论区（露出徽章左上角华为云账号）回复正确格式：grandmaster+技能测评截图（2张）注意：截图一定是规则内要求的两张，缺一不可；获得徽章时间需在活动时间内活动奖励按要求完成以上测评步骤并反馈结果，即可获得活动积分 30积分，上限30积分多测评不多给积分，一个级别没过可以选择别的级别更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

学习想要学得好基础很重要华为云特别推出各领域工程师技能测评来测一测你的基能力怎么样？快来测测看吧~任务时间2021.11.1-2021.12.19任务规则1. 点击链接进入测评平台：https://devcloud.huaweicloud.com/expert/assessment/skill2. 下拉对话框选择大数据开发工程师3. 选择自己掌握的任一类语言的任一等级点击进入完成测评，达到90分以上即为通过4. 通过测评后即可点亮徽章，之后请大家将测评通过截图+点亮的徽章截图，按要求回复到本帖评论区（露出徽章左上角华为云账号）回复正确格式：grandmaster+技能测评截图（2张）注意：截图一定是规则内要求的两张，缺一不可；获得徽章时间需在活动时间内活动奖励按要求完成以上测评步骤并反馈结果，即可获得活动积分 30积分，上限30积分多测评不多给积分，一个级别没过可以选择别的级别更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

为的就是让大家巩固学习成果，紧跟学习进度现推出【问答官排位赛】，请各位同学详细查看本帖说明按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~》》参与活动前请先点击这里报名活动《《任务时间2021.11.01-2021.12.19 23:59参与方式&规则用户在本帖里发布自己在学习大前端技术中产生的疑惑或实践问题，其他用户可通过在楼层下评论参与回答。1. 同一ID不可自问自答；2. 同一ID可回复其他同一ID问题数量需≤3次，如，A最多可回答B的三个问题，但A可回答B、C、D、E、F等多人次问题。3. 每个人最多可发布10个有效问题，不可重复，不可灌水。4. 每个ID回答次数不设上限，但是否被采纳要依据专家评审后的结果。 活动奖励由专家经过评审：◎每个有效提问可获得2积分。上限为10个问题，20积分；不得灌水，不得与他人显示，问题具有意义，占楼无效。◎有效提问标准：在本次课程学习中遇到的实际问题，如下图所示：有效提问示例：◎无效提问：与课程相关但偏离学习课程内容，且在网页中可直接搜索出（举例：原理是什么？操作方式有哪些？等等），如下图所示：无效提问示例：◎同一问题下确定一名最佳答案，活动结束后，会根据排位赛积分情况，由专家根据问题质量评选出5名优秀答题官，获取额外10积分奖励。更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

为了巩固大家的学习成果，紧跟学习进度请将需要完成的相关技术文章内容按要求回复到本帖下方按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~》》参与活动前请先点击这里报名活动《《任务时间2021.11.01-2021.12.19 23:59任务要求1.本学习阶段任意时间内，在【华为云】-【博客】发表与大数据相关的任意博客内容，可以是开发技术技巧，可以是开发心得体会，不可以发布课程笔记作为博文，将文章链接回复至本帖内2.文章需为原创，在发布博客时，需要勾选文章创作类型：原创文章一项。用户承诺，发表的文章不存在任何知识产权问题并自行承担全部责任3.文章字数≥600字，图文并茂，不得抄袭网站课程，需写自己的理解和技术分享4.回复格式：华为云ID+博客文章链接5.如果曾在外部博客发表过的文章，可将文章迁移到华为云博客即可6.技术文章由华为技术专家评审，评审通过会对应的积分，不过专家会给出对应的评语且积分为0   评判基本准则：文章50%以上与其他网站已有文章内容相似即不得积分     活动奖励每篇有效博客文章可获得10积分，每阶段获取上限30分，最终段评选3篇最佳博文，奖励额外20积分 更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

在很多人的印象中，技术人员就是那种一板一眼、满脑子代码、算式的理性人。如果从这个刻板印象看，汪明属于非典型的技术人，他热爱博大精深的中国传统文化，从汉字中寻找人生的方法论，说文解字、四书五经，信手捏来。与此同时，汪明在软件行业兢兢业业工作了十多年，如今是一家创业公司的合伙人，目标是为企业安全生产提供专业的信息化解决方案。当这两种截然不同的特性存在同一个人身上，会擦出什么样的火花呢？在传统文化中体悟技术汪明毕业于中国矿业大学，现在是徐州软件协会副理事长、ITSS工程师、孔智科技的合伙人。十几年来他一直从事企业管理信息系统技术研发相关工作，随着阅历的提升，汪明越来越喜欢将自己的所思所悟用文字呈现出来，即便这个过程需要耗费大量的精力。如他所说的舍得，舍在前，得在后。目前，汪明已经出版了《Go开发编程实战》、《TypeScript实战》、《Pyhon大数据处理库PySpark实战》等书籍。同样，对于新技术的学习，汪明认为最有效的是通过教授的方式来验证自身是否真的掌握相关知识点，这是源自《礼记·学记》中对教学相长的理解，“是故学然后知不足，教然后知困。知不足然后能自反也，知困然后能自强也。故曰教学相长也。”汪明通过撰写论文、书籍、博客以及录制视频来分享自己的研究成果和实战经验，他再三强调技术布道是教学相长方法论落地的重要途径。而且通过不断的分享，既提升了自己的能力，也打造了自己的社区影响力。也正是在提升技术能力的过程中，汪明对中国传统文化的感悟，以及从中体悟到的技术思考和谐相融。比如谈到对技术人员而言，该如何去面对瞬息万变的科技时代？汪明以说文解字中的王为例，“古之造文者，三画而连其中谓之王。三者，天、地、人也，而参通之者，王也。”他进一步解释道，作为IT从业者，首先要以开放、合作和共赢的心态达到人和；其次，把握技术发展的大趋势，随着企业数字化、智能化转型的需要， 5G、物联网、大数据和人工智能等技术将发挥重要的作用，要落地以顺应天时；最后分析自身所在行业和区域的特点，并团结一切可以团结的力量，以实现地利。连接天、地、人，建立足够开放、创新和多元的组织，以合作共产的方式才能成为王者，也正是“王”字造字的智慧。所以，在探索为客户提供企业信息化安全解决方案时，汪明选择了和华为云合作，引入多项华为独有的新技术，用低成本、弹性灵活、电信级安全、高效自助管理等优势惠及用户。关注安全生产，与华为云同行汪明所在的孔智科技主要利用物联网、大数据和人工智能等技术为企业安全数字化转型提供专业解决方案，以其中的企业安全生产综合管理信息系统为例，大体可以分为四个层次：先是通过风险辨识、风险分级管控和隐患排查治理等环节，让企业各级人员深度参与到企业安全管理中来，比如每日系统可通过移动APP自动推送排查任务，完成“人防”。其次，通过实时采集多种传感器数据，如温度、压力、浓度以及液位等SCADA工业监控系统中的数据。并设置合理、标准的预警阈值来实现自主预警，结合视频识别等AI技术，实现“物防”目标。再次，结合相关培训和考试，及时宣传相关法律法规，让企业各级人员从思想上统一认识到安全管理的重要性以及相关操作要符合规范的意义，从而实现”心防“目标。最后，通过引入人工智能和物联网等技术，对企业内部的”人、机、环、管“要素中的数据进行综合采集和汇总，结合行业的业务模型和预测预警模型，可实现”技”防目标。企业安全生产综合管理信息系统的总体架构示意图整个系统架构需要构建于强大的基础设施上，比如灵活的云服务器管理，可实现快速的扩容处理，而防火墙以及VPN可进一步加强系统的安全性。汪明表示这些都可以很好的借力于华为云提供的产品和服务，通过上云方式满足基础设施的诉求。比如利用华为云提供的ECS服务器和PostgreSQL云数据库高阶服务能力，他们构建了安全双重预防大数据平台解决方案。除此之外，汪明还带着团队打造了低代码平台，包括IMX Studio智能开发平台、IMX数据整合平台和IMX大数据分析平台。今年4月，沃土云创计划正式启动，华为云预计投入1亿美元，重点赋能SaaS和ISV伙伴，提供云资源、技术赋能和商业推广三大支持。作为华为云的解决方案合作伙伴，汪明所在的公司也通过加入沃土云创计划，得到了华为云相关专家的大力支持，经过几个月的反复探讨后，最终通过了华为的多项兼容认证，获得了商业营销上的支持。汪明正计划和华为云进一步探讨物联网平台的建设，这个平台需要对接大量的传感器设备，并对接入的视频进行AI识别和分析，他期望通过双方的深度合作来更好地为客户解决安全管理信息化方面的业务问题。最后：在技术布道和产品研发这条路上，汪明始终与华为云一路同行。最近，他在华为云社区发布了【F#语言从入门到实战】专题系列文章，并参与了HDZ百佬汇第五期的访谈，点击链接直达，华为云MVP汪明带你学习新知识。

各位亲爱的开发者们【大数据全栈成长计划】活动正在火热进行中为了巩固大家的学习成果，紧跟学习进度特意准备了与课程相关微认证&沙箱实验任务作为附加积分给大家，请按要求回复到本帖下方按要求格式回复即可获得积分累计阶段奖品，有可能冲击GT2智能手表大奖哦~完成任务前请先报名活动，否则无法统计注意：报名本活动前完成的微认证、沙箱实验不计入本次活动积分》》参与活动前请先点击这里报名活动《《完成时间即日起-大数据全栈成长计划活动结束微认证任务要求以下为与本次内容相关微认证内容（如果在活动报名前已完成，可进行其他认证）按要求流程完成认证，并取得证书微认证：（点击名称进入认证）《网站消费者行为分析》完成后将对应微认证证书截图+完成认证时间+华为云账号+姓名+证书编号+证书名称   反馈到本帖评论区举个栗子：2021.05.26+grandmaster+华为云小助手01+xxxxx（证书编号）+网站消费者行为分析有效微认证积分奖励提交有效微认证可获得50分在活动开始时间前取得的微认证证书不算入本次活动积分沙箱实验任务要求以下为与本次内容相关沙箱实验内容大家可自选适合自己的内容，按要求流程完成实验内容沙箱实验：（点击名称进入实验）《基于Spark实现车主驾驶行为分析》参与认证的同学请将【实验报告截图+华为云账号】回复到本帖当中 才能算作最终考核成功，考核分数才能统计举个栗子：截图请包括：实验名称+华为云账号+实验开始时间与完成时间+已完成项目（示例如下）（图片红圈中全部显示已完成既是通过本次实验）有效沙箱实验积分奖励每提交沙箱实验结果可获得30分在活动开始时间前完成的沙箱实验不算入本次活动积分活动奖励课程结束后，我们将在有效打卡的用户中抽取3位送出华为云定制无线鼠标更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html