- 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关... 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关...
- 我们在用python处理中文的时候，或多或少会遇到这样一些错误 常见错误1: SyntaxError: Non-ASCII character '\xe4' in file C 1 SyntaxError: Non-ASCII character '\xe4' in file C 常见错误2: UnicodeE... 我们在用python处理中文的时候，或多或少会遇到这样一些错误 常见错误1: SyntaxError: Non-ASCII character '\xe4' in file C 1 SyntaxError: Non-ASCII character '\xe4' in file C 常见错误2: UnicodeE...
- Python爬虫入门教程 80-100 写在前面 newspaper newspaper框架的使用 例如：单条新闻内容获取 newspaper文章缓存 其他功能 写在后面 这里是梦想橡皮擦 Python爬虫系列的第80篇，点击图片看全部博客 写在前面 原计划继续写一篇Portia的使用博客，结果在编写代... Python爬虫入门教程 80-100 写在前面 newspaper newspaper框架的使用 例如：单条新闻内容获取 newspaper文章缓存 其他功能 写在后面 这里是梦想橡皮擦 Python爬虫系列的第80篇，点击图片看全部博客 写在前面 原计划继续写一篇Portia的使用博客，结果在编写代...
- 最近逐渐打算将工作的环境转移到ubuntu下，突然发现对于我来说，这ubuntu对于我这种上上网，收收邮件，写写博客，写写程序的时实在是太合适了，除了刚接触的时候会不怎么完全适应命令行及各种权限管理，apt-get命令相当的方便，各种原先在windows下各种奇怪错误在ubuntu下都没有出现了，好了，我就不说废话了，今天大致简单的介绍下python下的ORM t... 最近逐渐打算将工作的环境转移到ubuntu下，突然发现对于我来说，这ubuntu对于我这种上上网，收收邮件，写写博客，写写程序的时实在是太合适了，除了刚接触的时候会不怎么完全适应命令行及各种权限管理，apt-get命令相当的方便，各种原先在windows下各种奇怪错误在ubuntu下都没有出现了，好了，我就不说废话了，今天大致简单的介绍下python下的ORM t...
- 声明，这些读书笔记我都是跳跃性的去找对我项目有帮助的，有一些废话我就直接删除了，所以一般不会特定的保留顺序，如果需要参考原版，请参考书中的内容。 9.数据交换值的时候不推荐使用中间变量。 之前大家一般都会使用中间变量来交换值，现在推荐直接交互。比如 x,y = y,x 1 x,y = y,x 那我们更深入一点，为什么会快呢。 一般情况下，p... 声明，这些读书笔记我都是跳跃性的去找对我项目有帮助的，有一些废话我就直接删除了，所以一般不会特定的保留顺序，如果需要参考原版，请参考书中的内容。 9.数据交换值的时候不推荐使用中间变量。 之前大家一般都会使用中间变量来交换值，现在推荐直接交互。比如 x,y = y,x 1 x,y = y,x 那我们更深入一点，为什么会快呢。 一般情况下，p...
- 写在前面 本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义： 爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。 目前在市... 写在前面 本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义： 爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。 目前在市...
- 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 上篇博客相信你已经可以简单的将分布式爬虫运行起来，你可能会发现分布式爬虫是思想上的一个调整，从代码的写法上并没有过多的改变，但是要知道我们是使用scrapy-redis直接构建的分布式爬虫，相当... 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 上篇博客相信你已经可以简单的将分布式爬虫运行起来，你可能会发现分布式爬虫是思想上的一个调整，从代码的写法上并没有过多的改变，但是要知道我们是使用scrapy-redis直接构建的分布式爬虫，相当...
- 梦想橡皮擦：是不是以为我会继续写glidedsky网站后面的打擂？很遗憾，猜错了，今天我们放松一下，学个不用写代码的爬虫程序。 Python爬虫入门教程 88-100 WebScraper目录 写在前面 Web Scraper安装 初步尝试使用Web Scraper create new sitemap add new selec... 梦想橡皮擦：是不是以为我会继续写glidedsky网站后面的打擂？很遗憾，猜错了，今天我们放松一下，学个不用写代码的爬虫程序。 Python爬虫入门教程 88-100 WebScraper目录 写在前面 Web Scraper安装 初步尝试使用Web Scraper create new sitemap add new selec...
- 今天接到一个新的粉丝诉求，让我爬双色球的历史记录，有点意思，瞬间想到的就是他想用这个数据来预测双色球的结果呢？如果他成功了，那梦想橡皮擦也可以顺带着走上人生的巅峰了。嘿… 写在前面 对于这种需求来说，其实不需要引入太复杂的框架，熟悉爬虫编码流程的大佬们清楚，好多爬虫其实用 requests 就可以搞定了，根本不用上爬虫框架。 爬虫第一步，找数据源，找到可... 今天接到一个新的粉丝诉求，让我爬双色球的历史记录，有点意思，瞬间想到的就是他想用这个数据来预测双色球的结果呢？如果他成功了，那梦想橡皮擦也可以顺带着走上人生的巅峰了。嘿… 写在前面 对于这种需求来说，其实不需要引入太复杂的框架，熟悉爬虫编码流程的大佬们清楚，好多爬虫其实用 requests 就可以搞定了，根本不用上爬虫框架。 爬虫第一步，找数据源，找到可...
- 帮粉丝写爬虫第一篇，接到一个简单的任务，让我爬取一下河北单招学校相关的信息，那最后这10篇博客，第一篇就从这里开始吧。（其实写到现在，我甚至想继续写下去了，没准能凑个爬虫108篇~哈哈哈） 当我把源码发给他的时候，以下是对话内容，“这就完啦？！”，“啊，不然呢？” 文章目录 写在前面 编码开始 read_html函数说明 爬取河北... 帮粉丝写爬虫第一篇，接到一个简单的任务，让我爬取一下河北单招学校相关的信息，那最后这10篇博客，第一篇就从这里开始吧。（其实写到现在，我甚至想继续写下去了，没准能凑个爬虫108篇~哈哈哈） 当我把源码发给他的时候，以下是对话内容，“这就完啦？！”，“啊，不然呢？” 文章目录 写在前面 编码开始 read_html函数说明 爬取河北...
- 帮粉丝写爬虫系列的最后一篇博客了，剩下的两篇是爬虫百例课程的一个总结，本系列课程的加更篇后续会逐步编写，同时滚雪球学 Python 系列课程已经在构思中，希望得到大家的继续支持。这篇博客取名叫做2020秋季最难的事–约不上的疫苗，是因为橡皮擦到现在也还没有约到流感疫苗。 爬取数据前的业务分析 关于最后这几篇博客难度问题，因为是帮大家写爬虫系列，所以很多时候... 帮粉丝写爬虫系列的最后一篇博客了，剩下的两篇是爬虫百例课程的一个总结，本系列课程的加更篇后续会逐步编写，同时滚雪球学 Python 系列课程已经在构思中，希望得到大家的继续支持。这篇博客取名叫做2020秋季最难的事–约不上的疫苗，是因为橡皮擦到现在也还没有约到流感疫苗。 爬取数据前的业务分析 关于最后这几篇博客难度问题，因为是帮大家写爬虫系列，所以很多时候...
- 前段时间写脚本，一直使用的是pycharm ，无奈机器不配置实在不怎么样，我记得之前用过subline text，这是我用过的最酷炫的文本编辑器，参考了一下网上的文章，自己走了一些弯路，将心得写在这里，方便给需要帮助的人： 这是完成配置后的界面： 一，下载subline text 3  ... 前段时间写脚本，一直使用的是pycharm ，无奈机器不配置实在不怎么样，我记得之前用过subline text，这是我用过的最酷炫的文本编辑器，参考了一下网上的文章，自己走了一些弯路，将心得写在这里，方便给需要帮助的人： 这是完成配置后的界面： 一，下载subline text 3  ...
- 1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自己给自己在逻辑上走的通) 交换变... 1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自己给自己在逻辑上走的通) 交换变...
- 源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基本pull下来就可以很方便的使用了，执行命令 cid=$(sudo docker ps -a | grep searx | awk '{pri... 源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基本pull下来就可以很方便的使用了，执行命令 cid=$(sudo docker ps -a | grep searx | awk '{pri...
- Py之qrcode：调用python的qrcode库两种方式生成二维码、带logo的二维码 目录 python编程实现生成二维码 1、第一种方式—纯文本 2、第二种方式—带logo Py之qrcode：调用python的qrcode库两种方式生成二维码、带logo的二维码 目录 python编程实现生成二维码 1、第一种方式—纯文本 2、第二种方式—带logo
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签