点击 直达华为云AI实战营 近几年，人工智能的趋势大增，很多小白和大佬都想投身到此领域，但大家并不知道从哪里下手合适，有种编程语言的出现，可以“一键”拉近与人工智能的距离，他就是新一代编程界“网红”-Python。Python以自己清晰明确的语法，良好的可读性和易于阅读理解的代码等各大优势稳坐多个权威排行榜前三，让开发者们逃离机械且冗长的工作模式，一键搞定N条数据，也解放了重复工作，被广泛用于人工智能，数据库，前端等各大开发领域。吸引了无数小白到老司机程序员的喜爱！所以，华为云带着网红来啦特别准备了Python程序员系列课【2021华为云AI实战营】之【Python实战营】6大实战营全程免费学习还能拿Mate 30Pro和GT智能手表AI技能一键GET，小白秒变开发大神  实战营学什么  本次课程囊括6大实战营内容：Python、ModelArts、MindSpore AI、机器学习、强化学习与深度学习。Python实战营内容主要包括Python基础语法的使用、Numpy、Matplotlib、Pillow、Pandas以及Python实战，帮你构建全面的Python知识体系！课程适合0基础小白学习，也适合重量级大神再修炼，知识扩容覆盖核心基础，配合专家领读+视频+专属答疑群+经典案例+拓展资料等多种形式，团战式学习，技能提升加速度。还有丰富的学习奖励等着大家。  点击这里 立即报名 - 报名加入专属社群，得不定时红包福利；- 全阶段课程免费报名、还有华为云周边奖励；- 获取对应成长值，优秀学员可兑换HUAWEI Mate 30Pro，GT智能手表，无线耳机，还有多重Made in HUAWEI的奖励等着你来拿。得奖门槛可谓是非常低，奖品可谓是绝对的高价值！课程预告：Python课程结束后，将更新MindSpore AI框架相关内容，请不要错过这次成为顶牛人工智能大神的机会哦~马上报名get得到Mate30Pro的技巧哦~传送门：[技术干货] 华为大咖分享：AI在软件测试领域应用探索（后附PPT下载）

有个项目是用python写的，但是其中有个功能需要调用jar包实现，本地环境是导入jpype来调用jar包的，在CloudIDE实例中，是否支持该调用？

各位开发者们【2021年华为云AI实战营】重磅来袭6大分类实战营轮番上线，助力成为人工智能全栈工程师Python实战营、机器学习实战营、MindSpore AI框架实战营ModelArts实战营、深度学习实战营、强化学习实战营所有实战营全部免费学习，获取对应成长值更有机会获得Mate 30Pro，GT智能手表，无线耳机等惊喜大礼哦~点击此处马上占位学习    01.活动介绍&适用人群 01.活动介绍&适用人群 ▶课程时间：2021年7月5日-12月▶课程适合人群：0基础小白，0~3年初级开发，大学生，想转行，想转岗▶课程亮点：·华为云AI专家亲授   ·科学的学习路线设计   ·课程单元制，随进随学·精品免费课程   ·辅导员制，抱团学习   ·跟踪式教学计划·轻松获取成长值兑换Mate 30Pro、GT智能手表、无线耳机等超多惊喜大礼▶课程专家： 02.活动参与流程  02.活动参与流程 ▶报名活动：- 活动报名入口：点击此处报名   - 了解更多活动详情：点击此处了解活动详情▶加入学习社群：学习群及时交流，共同进步；专家1V1答疑，伴您轻松开启AI之旅；资深专家讲师阵容：华为云AI专家，多年丰富经验，倾囊相授；一站式学习体验：渐进式赋能，由浅入深，综合提升技能；不定时红包福利！——  添加华为云AI小助手（huaweiai5），回复【实战营】进群（注意只有：实战营 三个字，其他回复都不行哦，人数报名较多，小助手是机器人自动拉群的）03.阶段课程安排和学习任务安排 ▶课程设置：阶段一：Python实战营本次python实战营课程内容包括：AI基础课程（Python编程知识）、Numpy、Matplotlib、Pillow、Pandas课程内容简介（可以直接点击课程名字进入课程）：Python编程知识：通过本案例的学习和课后作业的练习，掌握Python基础语法和高级语法；Numpy：了解 NumPy 数组和矩阵、随机模块、常用数学函数的使用方法；Matplotlib：了解Matplotlib绘图的基本语法，常用参数，并实现简单图形的绘制；Pillow：了解Pillow在数字图像处理上的常用功能，实现Pillow在进行图像识别、分类等程序中对图片数据进行预处理和数据增强操作；Pandas：掌握dataframe、series的基本操作，熟悉Pandas对表格数据的简单操作。▶问题答疑：1.点击进入AI说，即可提问https://marketplace.huaweicloud.com/markets/aihub/article/publish/2.可以在华为云ModelArts论坛版块【问题求助】中发帖提问https://bbs.huaweicloud.com/forum/forum-718-1.html▶完成任务得成长值：学习课程之后，完成课程留下的课后作业，按要求上传到AI Gallery（注意：完成课后作业需要将自己的作业链接评论在课后作业的notebook评论区）1. 2021年7.15日起，即可完成课程作业攒成长值2. 可以通过：签到、上传模型、数据、文章、Notebook、算法获取成长值3. 会采取抽查的形式，不合格的作业会被删除，恶意刷成长值的会取消活动资格 04.活动奖品 成长值兑换规则（兑换礼品需要完成python实战营至少一个以上课后作业）▶奖品兑换：奖品兑换填写问卷：点击此处兑换奖品以每期页面公布为准，奖品数量优先，库存会相应调整，参加实战营的用户才能参与兑换小彩蛋：针对【2021年华为云AI实战营系列】- AI编程Python实战营中一些优秀的作业会奖励纸质书籍《从零开始学Python》 05.活动注意事项 1. 请务必使用个人实名账号参与活动（IAM、企业账号等账号参与无效）；2. 为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格，本次活动一个实名认证账号只能对应一个收件人，如同一账号填写多个不同收件人，不予发放奖励；3. 本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效，用户应当主动查阅本活动规则的最新内容；4. 所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。

为了巩固大家的学习成果，紧跟学习进度请将需要完成的相关沙箱实验按要求回复到本帖下方按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~征集时间课程全阶段微认证考核要求提交操作结果截图 阶段考核+15分、最高可累计30分通过特定场景化学习和实际操作，可以实现对学习内容的理解和认知Python编程创造营使用以下场景参与认证考核使用Python爬虫抓取图片和文字实验点击进入使用ModelArts中开发工具学习Python（初级）点击进入使用ModelArts中开发工具学习Python（高级）点击进入参与认证的同学请将【已完成100%&实验报告截图+华为云ID】回复到本帖当中 才能算作最终考核成功，考核分数才能统计活动注意事项1. 学习任务提交后，小助手会在本阶段学习周期内，按序完成审核，并增加活动积分；2. 本次活动通过完成微认证任务，可获得的积分上限为30分；3. 请务必按照上述要求提交内容，以免影响积分增加；4. 若积分值相同则以完成学习任务的时间先后排序，其中任务完成时间的判定优先级为：相关微认证>阶段沙箱实验>每周学习笔记>问答官排位赛>每章随堂测验打卡5. 其他积分获取方式请查看活动社群公告。想了解更多关于课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-137379-1-1.html

# RPA 实战：让小姐姐填满你的硬盘(上) > 某天，我无意逛到某个小网站，如果我不懂代码，想要网站上全部的妹子，我该怎么做？……幸好有她，她好我也好，她就是 RPA -- Robotic Process Automation，中文意思是机器人流程自动化，换句话说就是利用机器人技术来实现业务流程的自动化处理。 ## 环境安装 首先打开另一个小网站 -- [https://www.hwtelcloud.com/products/rpa](https://www.hwtelcloud.com/products/rpa),下载【设计器】，并进行使用激活；下载【执行器】，让程序自己动；此外还需下载浏览器驱动和安装浏览器插件。关于软件的下载安装等此处就不进行讲解，相信您能搞定！  本大狮发表文章时所用到的软件版本及环境如下： - WeAutomate Studio(2.14.0) - WeAutomate Assistant(2.14.0) - VM: python 3.8.5 64-bit - Windows Feature Experience Pack 421.16300.0.3 - Google Chrome 91.0.4472.124 64-bit  将近1000页的帮助文档在 WeAutomate Studio 安装目录下：`document/RPA_Robot_Development_Guide_zh_cn.pdf`  此外还有更多优质的课程尽在华为云学院： [https://ilearningx.huawei.com/portal/courses?q=ANTROBOT](https://ilearningx.huawei.com/portal/courses?q=ANTROBOT) ## “技术”解析 说到图片，我最先想到的是某度图片，之前通过使用 NodeJS 爬虫爬取过该网站搜索出来的图片，大概的流程如下： 1. 输入关键字，`//*[@id="kw"]`这里的 Input 标签就是我们关键字输入的位置。  2. 获取图片列表，当我们输入关键字并搜索的结果就呈现为页面的`//*[@id="imgid"]/div/ul/li[1]/div/a/img`,也就是 classname 为 `main_img` 的图片元素  3. 滚动窗口，当我们模拟鼠标滚动时，页面会加载更多的图片。  4. 图片下载，我们获取到每个图片元素的 `src` 属性，就是我们最终的图片下载地址。  那么整个流程下来，在 RPA 中我们需要用到哪些控件呢？首先我们要从网页获取图片，`打开网页`控件是第一个用到的；其次我们要获取网页的高度并进行滚动、获取页面图片元素及`src`属性，我们可以通过`执行 js 代码`控件来帮我们完成；此外，涉及的一些流程控制我们必须依赖分支、循环等控件；最后下载图片则通过`下载文件`控件实现。  ## 实施过程 RPA 的实施一般遵循下面的生命周期：  ### RPA 评估 首先 RPA 评估，针对此次我的这个“大胆”的想法，我的整个业务流程完成能够用自动化来实现，当然投资回报率（ROI）对我来说，完全只需投入少量的时间就能获取到海量的数据，理论上是非常划算的。本次实践不对 RPA 工具本身做任何评价，本着新手小白的学习态度，一款好用的强大的称手的 RPA 工具请按照自身的场景去选取，如同技术选型，对开发工具做一定的调研、体验才能更好的选择合适的工具。 ### RPA 设计 接着 RPA 设计，我们先梳理一下完整的业务流程，细粒度精确到每一个点，比如网页数据怎么获取、图片怎么下载等等，势必会涉及到一些逻辑，比如分支逻辑、循环逻辑；除此之外，我们需要明确每个操作的输入和输出；在实际工作中，我们可能还需形成具体的文档。  ### RPA 开发 简单梳理完流程之后，开始开发我的第一个 RPA 程序。尽管整个流程梳理起来非常简单，但实际开发的时候，由于对工具、编程语言基础等不熟练，我踩了一个又一个的坑，最终走出了结合 JS 代码以及 NodeJS 爬虫的思路来开发这个图片爬取的 RPA 程序。 - 1. 全局变量定义 由于本大狮功力不够，暂时没能实现打开网页之后动态获取跳转的链接，因此我直接使用的输入关键字搜索之后的 url 作为全局变量 url 的值，拼接 keyword 来实现结果页面图片的获取。 | 名称 | 类型 | 值 | 描述 | | --- | --- | --- | --- | | url | String | (根据实际情况填写) | baseurl，用于拼接 keyword 访问结果页 | | keyword | String | (根据实际情况填写) | 关键字，比如"性感美女"、“靓仔” | | height | String | 0 | 初始的窗口高度，用于缓存过程数据 | | num | Number | (根据实际情况填写) | 图片数量，暂未做精确处理，作为退出循环的条件 |  - 2. 打开网页 写得比较随意，中文在浏览器地址中可以做 url 编码处理，这里可以引入 python 模块哦！  - 3. 获取浏览器窗口高度 建议此操作前先调用控件让浏览器窗口最大化，然后通过 JS 代码获取浏览器窗口高度并赋值给 `height`,方便后面的滚动操作。`执行 JS 代码`控件是有返回值的，在代码中通过 `return` 可以返回指定内容。 ```js return document.body.offsetHeight; ```  - 4. 循环操作 此处模拟了 JS 的定时器方法，使用`While`来进行滚动操作的循环。假如我想获取 10k 张图片，第一次加载的结果可能才几十张，如果是人工操作的话，我需要不断滚动浏览器以加载获得更多的数据。那机器人是怎么自动化操作呢？我们给它设置一个延时操作，然后调用 JS 代码滚动浏览器,同时更新`height`： ```js let height=@{height}*2; window.scrollTo(0,height); return height; ```  - 5. 获取图片链接 同样的通过调用`执行 JS 代码`控件来获取图片的链接和数量，为图片下载和退出循环做准备。 ```js let arrs = document.querySelectorAll('.main_img'); let urls = [] for (let img of arrs){urls .push(img.src)} return urls; ```  - 6. 退出循环 比较预期的图片数量和实际的图片数量，如果图片够了，我们就退出循环，进行下一步操作。  - 7. 创建文件夹 这里的步骤非必须，根据实际情况取舍，我这里是简单的尝试并熟悉 RPA 工具；不过逻辑还不够严谨，可以优化的点实在是太多。  - 8. 遍历图片链接并下载 “没有什么问题是一个 for 循环不能解决的，如果有，那就两个”,此处能够直接进行循环是因为之前 JS 代码返回的值已经是 list 了，因此将 url 遍历出来调用下载文件控件就能直接下载。  至此，一个简单的图片爬取 RPA 程序已经开发完毕。 ### RPA 测试 如果是大型的项目，必然会经过单元测试、集成测试等全面的测试历练之后才会发布。而对于此次的 **RPA 图片爬取**小程序，我只做了简单的调试，理论上调试依旧属于开发阶段，严格来说需要模拟各种场景、各种系统和上下文进行正确性测试等，测试完成后才可以上线。 作为伪测试，我输入**华为美女** 100 张，结果程序给了我 130 张，XDM 你们说测试通过吗？  ### RPA 优化 毕竟是 Hello World 级别的程序，出自 HW 攻城狮之手，因此有很多地方需要完善，比如逻辑的严谨性、没有考虑边界、下载的文件名杂乱等。毕竟真实的项目如果是这么个水平，估计…… RPA 的优化可以从最优设计、从性能、从实际业务需求等方面去实施。当然，屏幕前的您一定有自己的优化思路，期待您与我分享！ ## 小结 回到标题，咦，为什么是上篇，难道还有下篇？敬请期待吧！那么上篇讲了哪些知识点呢？首先是 RPA 环境搭建及入门，然后是 RPA 程序开发的套路，接着是网页元素处理、文件下载、如何调用 python 模块、如何调用 JS 等，最后是简单测试及优化建议。感谢阅读，希望能帮到您！ 最后，附送几个G的学习资料： [https://ilearningx.huawei.com/portal/courses?q=ANTROBOT](https://ilearningx.huawei.com/portal/courses?q=ANTROBOT) **如果您对本文有任何意见，欢迎与我联系，公众号:[胡琦](https://gitee.com/hu-qi/cdn/blob/master/me/wechat-huqi.jpg)， Wechat： [Hugi66](#)**

为的就是让大家巩固学习成果，紧跟学习进度现推出【问答官排位赛】，请各位同学详细查看本帖说明按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~ 活动时间：2021.07.12-2021.08.15 23:59  参与方式：用户在本帖里发布自己在Python学习中产生的疑惑或实践问题，其他用户可通过在楼层下评论参与回答。  参与规则：1. 同一ID不可自问自答；2. 同一ID可回复其他同一ID问题数量需≤3次，如，A最多可回答B的三个问题，但A可回答B、C、D、E、F等多人次问题。3. 每个人最多可发布2个有效问题、回复，不可重复，不可灌水。4. 每个ID回答次数不设上限，但是否被采纳要依据专家评审后的结果。  活动奖励：每条有效提问 可获得 5积分（最高10分）每条有效回复 可获得 2积分（最高4分）有效提问示例：无效提问示例：活动注意事项1. 学习任务提交后，小助手会在本阶段学习周期内，按序完成审核，并增加活动积分；2. 本次活动通过完成提交问答官问题，可获得的积分上限为5积分/每有效问题（最高10分）2积分/每有答复（最高4分）；3. 请务必按照上述要求提交内容，以免影响积分增加；5. 若积分值相同则以完成学习任务的时间先后排序，其中任务完成时间的判定优先级为：结业考核>问答官排位赛>每周学习笔记>每章随堂测验打卡5. 其他积分获取方式请查看活动社群公告。想了解更多关于课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-137379-1-1.html

（回复格式：华为云帐号+课程章节序号+截图）为了巩固大家的学习成果，紧跟学习进度请将需要完成的每周读书笔记内容按要求回复到本帖下方按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~打卡时间2021.07.12-2021.08.15 23:59打卡要求在本帖中，回复每周读书笔记和心得 ↓回复格式：华为云ID+第几周笔记+笔记内容，并分享些读书心得（字数≥200字）回复示例如下：奖励方式每周每次有效打卡可获得2积分阶段学习将以积分排行榜的形式，对符合条件小伙伴进行奖励！活动注意事项 由于本帖回复内容为个人学习成果，已设置回帖仅版主可见1. 学习任务提交后，小助手会在本阶段学习周期内，按序完成审核，并增加活动积分；2. 本次活动通过完成提交学习笔记任务，可获得的积分上限为2分/每周；3. 请务必按照上述要求提交内容，以免影响积分增加；4. 若积分值相同则以完成学习任务的时间先后排序，其中任务完成时间的判定优先级为：结业考核>问答官排位赛>每周学习笔记>每章随堂测验打卡5. 其他积分获取方式请查看活动社群公告。想了解更多关于课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-137379-1-1.html

（回复格式：华为云帐号+课程章节序号+截图）为了巩固大家的学习成果，紧跟学习进度请将需要完成的每章随堂测验内容按要求回复到本帖下方按要求格式回复即可获得积分累计阶段奖品，还能有机会获得附加幸运奖哦~打卡时间2021.07.12-2021.08.15 23:59打卡要求在本帖中，回复对应章节的随堂测验并提交截图 ↓回复格式：自己的华为云ID+课堂章节序号+课程完成截图（露出右上角华为云ID，随堂测验为绿色对勾完成状态）回复示例：华为云帐号：grandmaster+第一章 程序员的好助手-Python奖励方式每章节每次有效打卡可获得4积分阶段学习将以积分排行榜的形式，对符合条件的小伙伴进行奖励！活动注意事项 由于本帖回复内容为随堂测试结果，已设置回帖仅版主可见1. 学习任务提交后，小助手会在本阶段学习周期内，按序完成审核，并增加活动积分；2. 本次活动通过完成每章习题打卡任务，可获得的积分上限为2分/每章节；3.本次活动通过完成每阶段考核打卡任务，可获得的积分上限为4分/每阶段；4. 请务必按照上述要求提交内容，以免影响积分增加；5. 若积分值相同则以完成学习任务的时间先后排序，其中任务完成时间的判定优先级为：结业考核>问答官排位赛>每周学习笔记>每章随堂测验打卡5. 其他积分获取方式请查看活动社群公告。想了解更多关于课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-137379-1-1.html

Python作为当前最为流行的编程语言在数据挖掘、人工智能、应用开发等多个领域有着广泛的应用在加上语言本身的特性：简单易用、工具多等成为了很多程序员的“挚爱”为帮助大家走进Python的世界华为云推特别推出——华为云【Python编程创造营·第二期】零基础轻松出门   打通Python技术体系特别增加多种实操训练，全面提升Python编程技能免费报名！还有华为云官方认证、华为智能硬件奖品等你拿!  01.活动介绍&课程亮点&适合人群 本课程主要内容包括Python基础语法的使用、函数、面向对象编程、IO操作、工具包的使用、正则表达式以及Python web实战，配合视频+直播+经典案例+拓展资料等多种形式，为你全方位讲解Python语言，帮你构建全面的Python知识体系！课程亮点 知识扩容覆盖核心基础涵盖Python基础语法、高级语法、面向对象编程等，实战案例式教学，理论实操结合华为云专家助力成长华为金牌讲师在线教学，多年实战心得倾囊相授，直播点评+论坛答疑，消除知识薄弱点进阶式学习 技能提升加速度Python编程技能评定，三阶段进阶式学习，专项学习薄弱知识，加速提升技术能力 学习奖励丰富多彩活动报名/技能评定/学习任务/认证证书/技能考核/顺利结业，知识、认证、奖励一起赢！ 适合人群 0基础想要进阶的开发者（学生/0基础开发者皆可）在校大学生：爬资料 写项目 玩转编程 为校招加分职场达人：让你学会用数据说话  提高职场竞争力跨行业IT爱好者：掌握明星语言  不错过AI风口，抓住机遇 02.活动参与流程 一、报名活动：- Step1 报名活动：   点此报名活动 （报名才可以参加课程活动）- Step2 完成Python编程技能评定：Python开发技能测评（初级）Python开发技能测评（中级）Python开发技能测评（高级）- Step3 根据评定选择课程：   点此查看基础篇课程（对应初级能力）点此查看进阶篇课程（对应中级能力）点此查看应用篇课程（对应高级能力）二、加入学习社群：有人一起学习，有人帮你解惑，有考试助你查缺补漏，还有华为云大牛不定时空降答疑，更有超多惊喜奖励等着泥萌~~~扫描下方二维码，回复：Python+姓名，加入学习群吧~请添加华为云小助手05企业微信 03.学习课表及任务 Python编程创造营·第二期 学习课表学习任务&附加奖励：序号阶段任务详情活动积分奖励附加奖励提交入口1每章随堂测试\阶段测试任务完成方式：在随堂测试打卡帖中，回复对应章节的随堂    回复格式：华为云ID+截图（露出右上角华为云ID，且有效回复次数≥1）4分 /每有效打卡/每章节每周在本周内提交随堂测试的用户中，抽取1名幸运奖励华为云定制鼠标*1点击进入2每周学习笔记分享任务完成方式：在学习笔记征集帖中，回复本周课程内容的学习笔记    回复格式：华为云ID+笔记内容（字数≥200字）2分 /每有效打卡/每周在所有提交学习笔记的用户中，抽取3名幸运奖励华为云定制鼠标*1点击进入3相关文章征集任务完成方式：本学习阶段任意时间内，在“华为云-博客”，发表与学习内容相关的任意原创博客内容，将文章链接回复到指定帖内    回复格式：华为云ID+博客文章链接（字数≥600字）5积分 /每篇有效心得/每阶段 最高10/每阶段选取1篇最佳博文，奖励机械键盘*1点击进入4问答官排位赛任务完成方式：用户可在相关活动帖中发布自己学习中的疑惑或实践问题，其他用户可参与回答。由专家评审，同一问题下确定一名最佳答案。回复格式：华为云ID+提问的问题/解答答案5积分/每有效问题（最高10分）2积分/每有答复（最高4分）最终会全部每阶段参与互动的用户中，抽取3位幸运奖奖励华为云定制鼠标*1点击进入5完成阶段沙箱实验完成规定的沙箱实验15分/ 沙箱实验（最高累计30分）/点击进入6完成相关实验完成规定的微认证并获得官方微认证证书30分/认证/点击进入》》》最终考核名单公示《《 05.活动奖励 本次活动不仅免费跟大牛学习技术，更有积分大礼等着大家~每次有效提交的学习任务都会得到对应积分，累计积分最高者即可获得HUAWEI 手环，还有华为无线耳机、移动电源等着大家！以下奖励获取需满足积分≥120分 04.活动注意事项 ○所有活动奖品将在活动结束后将进行奖项公式公示后15个工作日内完成发放；○活动奖品颜色、型号随机，且部分奖品数量有限发完即止,,若有缺货或其他情况将替换为同价值的其他奖品；○本次活动回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html○码豆奖励活动规则：1）码豆可在DevCloud会员中心兑换实物礼品；2）码豆奖励将于活动结束后的3个工作日内充值到账，请到会员中心的“查看明细”中查看到账情况；3）码豆只能用于会员中心的礼品兑换，不得转让，具体规则请到会员中心阅读“码豆规则”；4）为保证码豆成功发放，请先登录一次会员中心。会员中心入口：https://devcloud.huaweicloud.com/bonususer/home○活动期间请勿更改昵称、华为云ID等信息，如出现无法发放码豆的情况视为自愿放弃。

说起Python，想必大家一定不陌生，作为时下大热的计算机程序设计语言，大大小小网站的广告栏、甚至是朋友圈，都充斥着Python学习的广告，简直掀起了一场全民学Python的热潮。不过，Python热门自然是有原因的，它免费、开源，可跨平台运行、不区分操作系统，语法简洁清晰、易上手，语法表达优美易读，支持模块和包，有极为丰富、功能强大的库，因此被广泛应用于人工智能、科学计算、图形技术、动画、游戏等行业。我们今天要学习的网络爬虫图片抓取，就是它在人工智能领域中的应用。 什么是网络爬虫        互联网上的海量数据信息是存放在各类web站点上的，web站点之间通过网络互联，形成了一张巨大的网。如果我们把这张互联网比作蜘蛛网，那么一只蜘蛛沿着蜘蛛网爬取节点上的猎物，就相当于爬虫程序沿着网络连接在web站点上抓取数据。因此，网络爬虫可以定义为一种从互联网上抓取数据信息的自动化程序。它的工作方式则是：web站点上各种网页，即url页面，组成了互联网；爬虫程序与互联网通信并获取数据，然后把抓取到的数据存储起来。 网络爬虫如何工作网络爬虫工作流程       从web站点获取资源分为三个步骤，即 “获取网页”、“提取信息”和“保存数据”。下面我们就以“获取一张华为手机图片”为例，来详细讲解这三个流程。       第一步，获取网页。我们在手工操作时需要打开浏览器输入华为的网址，或者搜索“华为手机”关键字，才可以定位到目的网页。爬虫在获取网页时是通过构造一个请求并发送给服务器，然后由服务器给出响应，爬虫接收的响应是一个网页源代码，手工方式是通过浏览器解析出来的，所以爬虫程序还需要将源代码解析出来。       第二步，提取信息。手工的方式是通过肉眼的识别和人脑的分析，定位到目的图片的位置，而爬虫程序是根据网页的规则，使用正则表达式将解析数据结构中的Body部分，并获取目的图片。      第三步，保存数据。手工的方式是使用浏览器将图片下载保存在个人电脑中，而爬虫程序保存数据的方式多种多样，可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，还可保存至远程服务器，如借助SFTP进行操作，甚至可以将图片视频保存在文件系统或者对象存储中。      综上所述，爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理、错误重试操作，确保爬取持续高效地运行。 网络爬虫能做什么       网络爬虫的应用场景可根据用途分为四类：搜索引擎，信息收集，数据分析，图片抓取。      搜索引擎：如Google和百度，这类爬虫会爬取整个互联网的特定信息，并且分类、排序，然后用户可以使用关键字进行结果的搜索；      信息收集：如新闻资讯聚合，这类爬虫会根据关键字搜索相关联的新闻信息，聚合呈现给用户；      数据分析：如商品价格比较和股票量化交易系统，爬虫可以针对相同的商品从多个电商平台上获取价格信息，综合分析价格对比和价格趋势，为商品购买提供价格决策；     图片抓取：抓取特定类型或者特定主题的图片，可以用来个人收藏，也可用于AI图像分析的图片资源库。我们今天要学习的，正是这一类。 Python网络爬虫技术原理及基础       网络爬虫技术的原理涉及三部分：Python编程基础、HTML网页基础、HTTP原理以及Requests库，首先，我们既然要使用Python编写爬虫，自然要掌握Python的基础编程知识；其次，我们的爬虫是从互联网的网页上抓取信息，所以要对目的网页有一定的了解，即HTML网页基础；最后，爬虫程序要处理和web站点进行的请求与响应，所以还要了解HTTP的通信原理以及Python中用来处理HTTP请求和响应的Requests库。       Python语言是一种面向对象的解释型计算机程序设计语言，具有面向对象和解释性语言两个重要特征。       面向对象是相对于面向过程而言的。比如C语言、Shell语言就是面向过程的，面向过程是一件事“该怎么做”，编程的时候把解决问题的步骤分析出来，然后用函数把这些步骤实现；面向对象是一种以“对象”为中心的编程思想，把要解决的问题分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个对象在整个解决问题的步骤中的属性和行为，面向对象是一件事“该让谁来做”，这个“谁”就是对象，他要怎么做是他自己的事，反正最后一群对象合力能把事做好就行了。至于解释型语言，我们在编程时使用的是高级语言，计算机不能直接理解高级语言，只能理解和运行机器语言，所以必须要把高级语言翻译成机器语言，计算机才能运行高级语言所编写的程序。解释型语言的优点是可跨平台运行，缺点则是运行时需要源代码，知识产权保护性差，运行效率低。       至于Python的数据类型、变量、文件、语句、函数等知识，囿于篇幅，不再赘述，感兴趣的小伙伴可以去课程中学习。       HTML （Hypertext Markup Language）是一种用于创建网页的超文本标记语言，可以构建web 站点，HTML 运行在浏览器上，由浏览器来解析。它的网页结构如下：HTML网页结构HTML标签       HTML 标签 (HTML tag)由尖括号包围，通常是成对出现的，比如 <header> 和 </header>，<body>和</body>，在我们抓取图片的爬虫程序中，就需要获得img标签后面的图片url链接来下载图片。我们在编写爬虫时构建HTTP的请求并处理HTTP的响应，如果从零开始，效率非常低，所以就需要用到Python中的Request库。Requests是一种常用的http请求库，可以方便地发送http请求并处理响应结果，极大地提高了效率。

【Hyper Tuner调优实践 】基于系统性能分析工具的python字符串拼接优化调优介绍Hyper Tuner是一款鲲鹏性能调优工具，本实践中使用Hyper Tuner工具对业务中使用python进行字符串拼接接口执行系统全景分析分析，应用热点函数分析，找到性能瓶颈点，并根据分析结果进行优化修改，从而实现使用python进行字符串拼接性能增强。组网环境说明：本实践以TaiShan 200服务器（型号2280）+ CentOS 7.6组网举例，Hyper Tuner在其他鲲鹏平台和操作系统上的操作类似。表格1 调优环境项目说明服务器TaiShan 200 服务器（型号2280）CPUKunpeng 920 4826OSCentOS 7.6应用python3调优工具Hyper Tuner 2.3.T10 操作步骤      1、python3执行如下demo，该接口中使用“+”在for循环中拼接字符串，该demo耗时约11s      2、进行全景分析操作，按照如下参数创建任务3、全景分析任务结果分析总览页面显示CPU利用率高查看Top数据，内存使用率也较其他进程高 接下来跑应用的热点函数分析任务来观察哪些相关的C API有被调用到。4、创建应用的热点函数分析任务由于python3不在工具默认的路径中，首先配置python3的目录到应用程序路径配置项中返回到工程管理页面，按照下图方式创建性能分析任务5、热点函数任务结果分析查看总览页面的Top热点函数，其中memcpy实现内存中复制，__libc_realloc即malloc函数，用来实现内存的申请及分配，它们消耗了较多的cpu资源性能瓶颈分析综合以上的分析，python中的string是不可变对象，循环中使用+进行大量字符串拼接时，会频繁的进行内存的申请、分配以及字符串的复制，导致性能低下。性能瓶颈优化将代码进行修改，使用join拼接字符串，重复以上操作步骤，查看分析结果注意运行参数修改为string_join系统全景分析任务显示，内存平均使用率降低，持续时间缩短应用热点函数分析任务显示，运行时长降低到之前一半，__libc_realloc不再是TOP热点函数总结字符串拼接方式运行时长%MEM(平均)+拼接11.50s15.59%join拼接5.43s15.52%  

漏洞 VulnerabilityCVE-2021-1675：Windows Spooler Service远程命令执行漏洞EXP公开https://github.com/hhlxf/PrintNightmare/CVE-2021-32462: Trend Micro密码管理器远程代码执行漏洞https://cert.360.cn/warning/detail?id=bcec0f45d2eac29920990a0c4b81afdaCVE-2021-26691: WebSphere Application Server拒绝服务漏洞https://www.ibm.com/support/pages/node/6467651安全事件 Security Incident瑞星截获Transparent Tribe组织的一起APT攻击http://it.rising.com.cn/dongtai/19783.htmlWolfe眼科诊所遭勒索软件攻击暴露了50万患者的数据https://heimdalsecurity.com/blog/ransomware-attack-on-wolfe-eye-clinic-exposes-data-of-500k-patients/Python PyPI 库中发现了六个恶意包https://securityaffairs.co/wordpress/119459/cyber-crime/pypi-malicious-packages.html以色列20多万名学生的个人信息遭到泄露https://www.cnbeta.com/articles/tech/1146145.htm

在训练模型后，用户往往需要通过测试数据集来评估新模型的泛化能力。通过验证测试数据集上的平均损失，可以评估模型对未知数据的预测能力。模型评价指标是评估模型泛化能力的标准，不同的指标往往会导致不同的评判结果。ModelArts模型评估/诊断功能针对不同类型模型的评估任务，提供相应的评估指标。在展示评估结果的同时，会根据不同的数据特征对模型进行详细的评估，获得每个数据特征对评估指标的敏感度，并给出优化建议。模型评估/诊断功能帮助用户可以全面了解模型对不同数据特征的适应性，使得模型调优可以做到有的放矢。当前模型评估功能覆盖图像分类、物体检测和图像语义分割三大场景，快来看看如何使用模型评估功能吧~图像分类图像分类评估指标说明物体检测物体检测评估指标说明 图像语义分割图像语义分割评估指标说明 调用模型评估接口了解评估结果ModelArts提供了“analyse”接口，用于模型评估。用户在推理结束后，传入指定参数调用该接口即可获取评估结果。> analyse(task_type=‘’,pred_list=[]，label_list=[],name_list=[],custom_metric=‘’,label_map_dict=‘’)参数说明参数是否必选说明task_type是任务类型。支持“image_classification”或“image_object_detection”参数值。 “image_classification”表示图像分类。 “image_object_detection”表示物体检测。pred_list是模型预测输出列表。label_list是所有图片的标签列表。name_list是所有图片对应的OBS路径。此处需使用绝对路径。custom_metric否用户自定义的指标。label_map_dict否标签索引和名称。如果不设置，系统默认使用{“0”: “0”, “1”: “1”, “2”: “2”, …}作为展示标签。 示例：{“0”: “dog”, “1”: “cat”, “2”: “horse”}更多接口介绍详见模型评估接口，更多代码示例详见模型评估代码示例，更多帮助参见模型评估优化建议~

2021年，Python编程语言完成了三十年的发展，并变得较以往更加流行。在此周年庆贺之际，华为云社区博客发起“生长吧！不负盛夏，不负Python”有奖征文活动，以便大家更好地学习Python 以及更清晰自己对编程语言的学习规划。华为云社区第三期有奖征文“生长吧，不负盛夏，不负Python”开始啦！我们需要哪些主题的稿件？原则上，我们欢迎所有能帮助所有学习Python的人成长的文章！如基于自己的实际使用经验，分享对Python的技术分析、使用感受及在项目实战中的经验或踩坑指南等：你可以从以下几类主题和参考文章中，找到自己感兴趣的投稿方向：1、关于Python的基础知识，包括如何理解面向对象编程、Python变量与常量、缩进与注释、赋值与表达式相关的学习内容从零开始学python | 面向对象编程 Python：你需要知道的一切[Python从零到壹] 一.为什么我们要学Python及基础语法详解2、介绍Python的一些辅助工具，比如reqeusts、pyquery、BeautifulSoup等python爬虫总计+案例+常用工具Python不为人知的Requests模块效率3.Python部署相关，比如如何用mrs中的spark服务，将Python的开发服务部署上去在MRS上部署利用python开发的服务4.Python的基础语法用法相关：python not 关键字实例用法、format数字格式化、内置函数、如何传参等内容了解python not关键字实例用法Python学习笔记（十三）format()数字格式化 和 内置函数(25-52)5. 如何用Python实现一些功能，比如用python操作excel、用Python实现FTP文件定时自动下载、AI人脸识别等运营的Python指南 - Python 操作ExcelPython实现FTP文件定时自动下载的步骤连Python都不熟，我是如何跑通AI人脸识别的6.Python框架相关：Django、Flask、Scrapy、Diesel、Cubes、Pulsar等等Python框架有哪些？区别是什么？你将获得什么？我们会把收到的优质内容汇编成册，并注明原作者，积累行业口碑，开放给圈内开发者下载查阅，提供实践参考。对于贡献优质内容的作者，我们还将送出各项大礼！同时，在华为云站内外10+个技术社区醒目位置进行推荐，给与百万级流量资源。希望最终的这份《日渐崛起的Python》精选集，有你的署名。优质作者更可获得长期约稿和更多内容合作机会。评奖规则说明奖品评选依据 ：文章投票数* 40%+专家评审打分*60%投票流程 ：截稿后评审会选出15-30篇最优秀的文章到论坛进行投票。投票链接 ：7月19日开启投票，更新投票链接。专家评分依据 ：文章篇幅、技术含金量、排版美观度、阅读量、点赞、收藏等指标综合评分其他说明 ：1、一二三等奖不能叠加。在哪里投稿？2、文章需要发表在社区博客； 是时候展现真正的技术了， 点击前往发布标题以 【生长吧！Python】结尾，例如：了解python not关键字实例用法丨【生长吧！Python】。文章末尾需加上活动名称及链接地址：【生长吧！Python】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/278897有哪些需要注意的1、文章内容需体现技术看点，图文并茂，建议字数在500字以上；2、文章要求为投稿人原创，凡转载或抄袭一经发现将取消参赛资格；3、文章须在华为云社区为首发，如华为云平台已有文章内容则视为稿件无效；4、稿件投稿后，华为云拥有该稿件的使用权、修改权等。快来华为云社区博客，一起和Python生长吧！ 点击立即发布如果有任何问题，可添加华为云社区小助手微信号：bbs_huaweicloud，进行沟通咨询。添加微信时请备注：生长吧Python + 报名活动时使用的华为云昵称！扫码添加小助手：【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章

在不少RPA厂商的宣传中，经常会标榜自己的RPA产品是低代码的。甚至为了达到这一目标，建立非常繁杂的组件体系，来完善其组件生态。在我看来，很多功能并不适合做成组件。那些被强行做成成组件的功能，就如同是被遮住的代码。对于RPA工程师而言，通常他们是具备一定的代码功底的。在实现一些特定功能时，场景代码比组件更好用。一句代码能解决的事情，可能需要拖拽2，3个组件，组件在某些时候会更繁琐。组件会增加开发人员的额外的学习成本。代码通常是RPA工程师已有的技术能力，如果强迫工程师使用组件完成，无疑增加工程师学习组件的成本。代码和组件的文档帮助生态的不同。相关代码的技术知识，在网上有丰富的资料和帮助文档。而组件的文档和帮助，通常取决于RPA厂商或者组件开发者对其的准备妥帖程度。目前从未有一个公认的RPA概念。但是，“低代码“从来不是RPA的限定词。那么为何目前大家都谈到RPA都会联想到低代码呢。可能是跟RPA目前是处于初级阶段，对市场的渗透率还不高有关。RPA厂家和生态中的角色，在宣传RPA时，会把Python和传统技术作为潜在对比对象。当甲方问，为何要使用RPA时，而不是选择Python或传统技术。低代码确实是一个比较明显的区分点。当然，RPA不应该局限于“低代码“中。在一个RPA产品上实施项目，可以无代码，可以低代码，也可以完全是代码。这取决于这款RPA产品的特性。关注我了解更多RPA小知识。