- 项目 地址 https://github.com/BruceDone/Tiktok 背景 在很早之前，博主有介绍过可视化的调度工具，dagobah，不过，那个时候dagobah相当的不稳定，动不动就会奔溃，页面就直接打不开，在尝试过各种进程保护模式，或者docker化之后，都完全无法满足工作里面的需求，后来干脆就直接打算在python2的flask，换成了现在的python... 项目 地址 https://github.com/BruceDone/Tiktok 背景 在很早之前，博主有介绍过可视化的调度工具，dagobah，不过，那个时候dagobah相当的不稳定，动不动就会奔溃，页面就直接打不开，在尝试过各种进程保护模式，或者docker化之后，都完全无法满足工作里面的需求，后来干脆就直接打算在python2的flask，换成了现在的python...
- 回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() ... 回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() ...
- 1. 微医挂号网医生数据写在前面 今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery 首先找到 医生列表页 https://www.guahao.com/expert... 1. 微医挂号网医生数据写在前面 今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery 首先找到 医生列表页 https://www.guahao.com/expert...
- 在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们留下一个印象，然后我们看实际的场景来操作. 我们先看一个方法:... 在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们留下一个印象，然后我们看实际的场景来操作. 我们先看一个方法:...
- 文章目录 写在前面 Python代码走起 运行celery分布式爬虫 写在后面 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 今天继续通过celery实现分布式爬虫爬取https://book.do... 文章目录 写在前面 Python代码走起 运行celery分布式爬虫 写在后面 写在前面 对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。 今天继续通过celery实现分布式爬虫爬取https://book.do...
- 目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 <html> <div> <p>111</p> <p>222</p> <p>333</p> <p>... 目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 <html> <div> <p>111</p> <p>222</p> <p>333</p> <p>...
- 目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收集之后存入数据库，然后每个小时进行汇总与统计。这样方便业务部门进行数据分析，逻辑流程如下 用户请求 -> web api(记录请求) -... 目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收集之后存入数据库，然后每个小时进行汇总与统计。这样方便业务部门进行数据分析，逻辑流程如下 用户请求 -> web api(记录请求) -...
- 本篇博客和上一篇内容呈连续性，注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块，名字叫做scrapydweb今天我们就把它配置起来吧 本篇博客内容相对简单，篇幅较少，大家可以快速阅览 scrapydweb 的 github地址如下：https://github.com/my8100/files/tree/maste... 本篇博客和上一篇内容呈连续性，注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块，名字叫做scrapydweb今天我们就把它配置起来吧 本篇博客内容相对简单，篇幅较少，大家可以快速阅览 scrapydweb 的 github地址如下：https://github.com/my8100/files/tree/maste...
- 从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流，工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同处理 # -*- coding: utf-8 -*- fro... 从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流，工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同处理 # -*- coding: utf-8 -*- fro...
- 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需... 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需...
- 文章目录 图片比对 计算缺口坐标 移动滑块 验证失败 写在后面 图片比对 昨天的博客已经将图片存储到了本地，今天要做的第一件事情，就是需要在两张图片中进行比对，将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离 def get_di... 文章目录 图片比对 计算缺口坐标 移动滑块 验证失败 写在后面 图片比对 昨天的博客已经将图片存储到了本地，今天要做的第一件事情，就是需要在两张图片中进行比对，将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离 def get_di...
- 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安... 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安...
- 爬前叨叨 全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。 你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/pe... 爬前叨叨 全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。 你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/pe...
- 入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来，花了一点时间入门go ，平时上下班路上读读<Go语言编程>或者<Go语言实践>，写了大量的书本代码，然后上手写了两个项目:一个后端高IO的api，另外一个是 web 调度系统，等到第一个系统写完并上线后，完成了各种监控(prometheus),错误发现(sentry... 入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来，花了一点时间入门go ，平时上下班路上读读<Go语言编程>或者<Go语言实践>，写了大量的书本代码，然后上手写了两个项目:一个后端高IO的api，另外一个是 web 调度系统，等到第一个系统写完并上线后，完成了各种监控(prometheus),错误发现(sentry...
- 目录 背景 简介 测试 结论 背景 一直以来，python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后，出现了一些新的异步框架，比如sanic,比如vibora,相比传统的flask, django，这些新的框架相对成熟了很多，而且在性能上已经有长足的进步了，和node, golang ，已经有一战之力了，大家可以... 目录 背景 简介 测试 结论 背景 一直以来，python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后，出现了一些新的异步框架，比如sanic,比如vibora,相比传统的flask, django，这些新的框架相对成熟了很多，而且在性能上已经有长足的进步了，和node, golang ，已经有一战之力了，大家可以...
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签