- 写在前面 本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义： 爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。 目前在市... 写在前面 本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义： 爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。 目前在市...
- 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 上篇博客相信你已经可以简单的将分布式爬虫运行起来，你可能会发现分布式爬虫是思想上的一个调整，从代码的写法上并没有过多的改变，但是要知道我们是使用scrapy-redis直接构建的分布式爬虫，相当... 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 上篇博客相信你已经可以简单的将分布式爬虫运行起来，你可能会发现分布式爬虫是思想上的一个调整，从代码的写法上并没有过多的改变，但是要知道我们是使用scrapy-redis直接构建的分布式爬虫，相当...
- 梦想橡皮擦：是不是以为我会继续写glidedsky网站后面的打擂？很遗憾，猜错了，今天我们放松一下，学个不用写代码的爬虫程序。 Python爬虫入门教程 88-100 WebScraper目录 写在前面 Web Scraper安装 初步尝试使用Web Scraper create new sitemap add new selec... 梦想橡皮擦：是不是以为我会继续写glidedsky网站后面的打擂？很遗憾，猜错了，今天我们放松一下，学个不用写代码的爬虫程序。 Python爬虫入门教程 88-100 WebScraper目录 写在前面 Web Scraper安装 初步尝试使用Web Scraper create new sitemap add new selec...
- 今天接到一个新的粉丝诉求，让我爬双色球的历史记录，有点意思，瞬间想到的就是他想用这个数据来预测双色球的结果呢？如果他成功了，那梦想橡皮擦也可以顺带着走上人生的巅峰了。嘿… 写在前面 对于这种需求来说，其实不需要引入太复杂的框架，熟悉爬虫编码流程的大佬们清楚，好多爬虫其实用 requests 就可以搞定了，根本不用上爬虫框架。 爬虫第一步，找数据源，找到可... 今天接到一个新的粉丝诉求，让我爬双色球的历史记录，有点意思，瞬间想到的就是他想用这个数据来预测双色球的结果呢？如果他成功了，那梦想橡皮擦也可以顺带着走上人生的巅峰了。嘿… 写在前面 对于这种需求来说，其实不需要引入太复杂的框架，熟悉爬虫编码流程的大佬们清楚，好多爬虫其实用 requests 就可以搞定了，根本不用上爬虫框架。 爬虫第一步，找数据源，找到可...
- 帮粉丝写爬虫第一篇，接到一个简单的任务，让我爬取一下河北单招学校相关的信息，那最后这10篇博客，第一篇就从这里开始吧。（其实写到现在，我甚至想继续写下去了，没准能凑个爬虫108篇~哈哈哈） 当我把源码发给他的时候，以下是对话内容，“这就完啦？！”，“啊，不然呢？” 文章目录 写在前面 编码开始 read_html函数说明 爬取河北... 帮粉丝写爬虫第一篇，接到一个简单的任务，让我爬取一下河北单招学校相关的信息，那最后这10篇博客，第一篇就从这里开始吧。（其实写到现在，我甚至想继续写下去了，没准能凑个爬虫108篇~哈哈哈） 当我把源码发给他的时候，以下是对话内容，“这就完啦？！”，“啊，不然呢？” 文章目录 写在前面 编码开始 read_html函数说明 爬取河北...
- 帮粉丝写爬虫系列的最后一篇博客了，剩下的两篇是爬虫百例课程的一个总结，本系列课程的加更篇后续会逐步编写，同时滚雪球学 Python 系列课程已经在构思中，希望得到大家的继续支持。这篇博客取名叫做2020秋季最难的事–约不上的疫苗，是因为橡皮擦到现在也还没有约到流感疫苗。 爬取数据前的业务分析 关于最后这几篇博客难度问题，因为是帮大家写爬虫系列，所以很多时候... 帮粉丝写爬虫系列的最后一篇博客了，剩下的两篇是爬虫百例课程的一个总结，本系列课程的加更篇后续会逐步编写，同时滚雪球学 Python 系列课程已经在构思中，希望得到大家的继续支持。这篇博客取名叫做2020秋季最难的事–约不上的疫苗，是因为橡皮擦到现在也还没有约到流感疫苗。 爬取数据前的业务分析 关于最后这几篇博客难度问题，因为是帮大家写爬虫系列，所以很多时候...
- 前段时间写脚本，一直使用的是pycharm ，无奈机器不配置实在不怎么样，我记得之前用过subline text，这是我用过的最酷炫的文本编辑器，参考了一下网上的文章，自己走了一些弯路，将心得写在这里，方便给需要帮助的人： 这是完成配置后的界面： 一，下载subline text 3  ... 前段时间写脚本，一直使用的是pycharm ，无奈机器不配置实在不怎么样，我记得之前用过subline text，这是我用过的最酷炫的文本编辑器，参考了一下网上的文章，自己走了一些弯路，将心得写在这里，方便给需要帮助的人： 这是完成配置后的界面： 一，下载subline text 3  ...
- 1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自己给自己在逻辑上走的通) 交换变... 1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自己给自己在逻辑上走的通) 交换变...
- 源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基本pull下来就可以很方便的使用了，执行命令 cid=$(sudo docker ps -a | grep searx | awk '{pri... 源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基本pull下来就可以很方便的使用了，执行命令 cid=$(sudo docker ps -a | grep searx | awk '{pri...
- Py之qrcode：调用python的qrcode库两种方式生成二维码、带logo的二维码 目录 python编程实现生成二维码 1、第一种方式—纯文本 2、第二种方式—带logo Py之qrcode：调用python的qrcode库两种方式生成二维码、带logo的二维码 目录 python编程实现生成二维码 1、第一种方式—纯文本 2、第二种方式—带logo
- 函数 函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。 无返回值无参函数自定义 你可以定义一个由自己想要功能的函数： 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()函数内容以冒号起始，并且缩进 代码： def print_(): print('这里是自定义函数') print_() 1234 以上代码使用def 开头... 函数 函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。 无返回值无参函数自定义 你可以定义一个由自己想要功能的函数： 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()函数内容以冒号起始，并且缩进 代码： def print_(): print('这里是自定义函数') print_() 1234 以上代码使用def 开头...
- 前言 python对象对于修改这个行为，大家的操作方式都是不一样的。有些对象是可变类型，所以他就可以直接修改。其它的都是不可变类型，那我们要修改他时怎么办呢，这个时候就新生成的一个对象，然后将变量名指向这个新对象，修改动作就完成了。关于可变类型与不可变类型的一个特点，我们可以先看看一段奇怪的代码 In [1]: a = 'a' In [2]: b = 'a' I... 前言 python对象对于修改这个行为，大家的操作方式都是不一样的。有些对象是可变类型，所以他就可以直接修改。其它的都是不可变类型，那我们要修改他时怎么办呢，这个时候就新生成的一个对象，然后将变量名指向这个新对象，修改动作就完成了。关于可变类型与不可变类型的一个特点，我们可以先看看一段奇怪的代码 In [1]: a = 'a' In [2]: b = 'a' I...
- 当慢慢了解做一些重复性的工作时候，我们都会思考，有没有什么办法简化工作，人因为懒洗衣服，所以有洗衣机，因为懒打扫，所以洗尘器，洗碗机，程序员们的懒，更多的是简化工作和抽象上，比如某个动作能不能封装成函数，进而封装成类，或者包，这样的懒才会有进步，才能将更多的时间放在一些值得关注的事上，精力应该放在思考上，而不是重复的没有意义的劳动上。 好了，不废话了，今天就简单的说一pyth... 当慢慢了解做一些重复性的工作时候，我们都会思考，有没有什么办法简化工作，人因为懒洗衣服，所以有洗衣机，因为懒打扫，所以洗尘器，洗碗机，程序员们的懒，更多的是简化工作和抽象上，比如某个动作能不能封装成函数，进而封装成类，或者包，这样的懒才会有进步，才能将更多的时间放在一些值得关注的事上，精力应该放在思考上，而不是重复的没有意义的劳动上。 好了，不废话了，今天就简单的说一pyth...
- 目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一定的程度，这既保证了当前的开发的新的feature 与整体能兼容，也能保证工程的整... 目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一定的程度，这既保证了当前的开发的新的feature 与整体能兼容，也能保证工程的整...
- 很多平台都有点赞功能，今天提供的这个思路可用于很多平台，希望可以掌握该技巧，实现你自己的点赞器。本案例目标为虎嗅 24 小时频道点赞。 爬虫小课系列文章导读链接 第一篇：Python 爬虫小课 1-9 宝妈程序媛福利-育儿网问答数据抓取 第二篇：Python 爬虫小课 2-9 中国妖怪数据库，运行中竟然发现有个色(he)欲(xie)妖怪分类 第三篇：15... 很多平台都有点赞功能，今天提供的这个思路可用于很多平台，希望可以掌握该技巧，实现你自己的点赞器。本案例目标为虎嗅 24 小时频道点赞。 爬虫小课系列文章导读链接 第一篇：Python 爬虫小课 1-9 宝妈程序媛福利-育儿网问答数据抓取 第二篇：Python 爬虫小课 2-9 中国妖怪数据库，运行中竟然发现有个色(he)欲(xie)妖怪分类 第三篇：15...
上滑加载中
推荐直播
-
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级，多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家；张嘉冉-华为云码道工程师；胡琦-华为云HCDE；程诗杰-华为云HCDG
华为云码道4月份版本全新升级，此次直播深度解读4月份产品特性，通过“特性解读+实操演示+实战案例+设计创新”的组合，全方位展现码道在多会话并行与多智能体协作方面的能力，赋能开发者提升效率
正在直播
热门标签