- 目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一定的程度，这既保证了当前的开发的新的feature 与整体能兼容，也能保证工程的整... 目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一定的程度，这既保证了当前的开发的新的feature 与整体能兼容，也能保证工程的整...
- 很多平台都有点赞功能，今天提供的这个思路可用于很多平台，希望可以掌握该技巧，实现你自己的点赞器。本案例目标为虎嗅 24 小时频道点赞。 爬虫小课系列文章导读链接 第一篇：Python 爬虫小课 1-9 宝妈程序媛福利-育儿网问答数据抓取 第二篇：Python 爬虫小课 2-9 中国妖怪数据库，运行中竟然发现有个色(he)欲(xie)妖怪分类 第三篇：15... 很多平台都有点赞功能，今天提供的这个思路可用于很多平台，希望可以掌握该技巧，实现你自己的点赞器。本案例目标为虎嗅 24 小时频道点赞。 爬虫小课系列文章导读链接 第一篇：Python 爬虫小课 1-9 宝妈程序媛福利-育儿网问答数据抓取 第二篇：Python 爬虫小课 2-9 中国妖怪数据库，运行中竟然发现有个色(he)欲(xie)妖怪分类 第三篇：15...
- 4.在代码中添加适当的注释。 5。通过适当加添加空行使代码布局更为优雅，合理。 在一组代码表达完一个完整的思路之后，应该使用空白行进行间隔 尽量保持上下文语义的易理解性 避免过长的代码 不要为了保持水平对齐而使用多余的空格。 6.编写函数的4个原则 原则1 函数设计要尽量短小，嵌套层次不要太深 原则2 函数声明应该做到合理，简单，易于使用 原则3 函数参数设计应该考虑向... 4.在代码中添加适当的注释。 5。通过适当加添加空行使代码布局更为优雅，合理。 在一组代码表达完一个完整的思路之后，应该使用空白行进行间隔 尽量保持上下文语义的易理解性 避免过长的代码 不要为了保持水平对齐而使用多余的空格。 6.编写函数的4个原则 原则1 函数设计要尽量短小，嵌套层次不要太深 原则2 函数声明应该做到合理，简单，易于使用 原则3 函数参数设计应该考虑向...
- 项目 地址 https://github.com/BruceDone/Tiktok 背景 在很早之前，博主有介绍过可视化的调度工具，dagobah，不过，那个时候dagobah相当的不稳定，动不动就会奔溃，页面就直接打不开，在尝试过各种进程保护模式，或者docker化之后，都完全无法满足工作里面的需求，后来干脆就直接打算在python2的flask，换成了现在的python... 项目 地址 https://github.com/BruceDone/Tiktok 背景 在很早之前，博主有介绍过可视化的调度工具，dagobah，不过，那个时候dagobah相当的不稳定，动不动就会奔溃，页面就直接打不开，在尝试过各种进程保护模式，或者docker化之后，都完全无法满足工作里面的需求，后来干脆就直接打算在python2的flask，换成了现在的python...
- 回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() ... 回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() ...
- 1. 微医挂号网医生数据写在前面 今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery 首先找到 医生列表页 https://www.guahao.com/expert... 1. 微医挂号网医生数据写在前面 今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery 首先找到 医生列表页 https://www.guahao.com/expert...
- 在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们留下一个印象，然后我们看实际的场景来操作. 我们先看一个方法:... 在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们留下一个印象，然后我们看实际的场景来操作. 我们先看一个方法:...
- 文章目录 写在前面 Python代码走起 运行celery分布式爬虫 写在后面 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 今天继续通过celery实现分布式爬虫爬取https://book.do... 文章目录 写在前面 Python代码走起 运行celery分布式爬虫 写在后面 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 今天继续通过celery实现分布式爬虫爬取https://book.do...
- 目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 <html> <div> <p>111</p> <p>222</p> <p>333</p> <p>... 目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 <html> <div> <p>111</p> <p>222</p> <p>333</p> <p>...
- 目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收集之后存入数据库，然后每个小时进行汇总与统计。这样方便业务部门进行数据分析，逻辑流程如下 用户请求 -> web api(记录请求) -... 目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收集之后存入数据库，然后每个小时进行汇总与统计。这样方便业务部门进行数据分析，逻辑流程如下 用户请求 -> web api(记录请求) -...
- 本篇博客和上一篇内容呈连续性，注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块，名字叫做scrapydweb今天我们就把它配置起来吧 本篇博客内容相对简单，篇幅较少，大家可以快速阅览 scrapydweb 的 github地址如下：https://github.com/my8100/files/tree/maste... 本篇博客和上一篇内容呈连续性，注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块，名字叫做scrapydweb今天我们就把它配置起来吧 本篇博客内容相对简单，篇幅较少，大家可以快速阅览 scrapydweb 的 github地址如下：https://github.com/my8100/files/tree/maste...
- 从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流，工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同处理 # -*- coding: utf-8 -*- fro... 从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流，工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同处理 # -*- coding: utf-8 -*- fro...
- 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需... 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需...
- 文章目录 图片比对 计算缺口坐标 移动滑块 验证失败 写在后面 图片比对 昨天的博客已经将图片存储到了本地，今天要做的第一件事情，就是需要在两张图片中进行比对，将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离 def get_di... 文章目录 图片比对 计算缺口坐标 移动滑块 验证失败 写在后面 图片比对 昨天的博客已经将图片存储到了本地，今天要做的第一件事情，就是需要在两张图片中进行比对，将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离 def get_di...
- 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安... 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签