- 我徒然学会了抗拒热闹，却还来不及透悟真正的冷清。——张大春 《四喜忧国》 我徒然学会了抗拒热闹，却还来不及透悟真正的冷清。——张大春 《四喜忧国》
- 爬虫介绍 爬虫介绍
- 对于现在的爬虫程序来说，PC端网页数据往往并不理想。比如就拿CSDN来说，一篇帖子是否上热榜其根据的是App端数据，并不是PC端网页数据。这也是时代的进步，从PC端到移动端，而且还有像小红书一样的App，其根本不提供PC端网页，只有App，要爬取这些数据，普通的Python爬虫肯定已经淘汰。所以，我们需要借助Charles来抓取手机的HTTP与HTTPS数据包。尽然要通过Charles软件 对于现在的爬虫程序来说，PC端网页数据往往并不理想。比如就拿CSDN来说，一篇帖子是否上热榜其根据的是App端数据，并不是PC端网页数据。这也是时代的进步，从PC端到移动端，而且还有像小红书一样的App，其根本不提供PC端网页，只有App，要爬取这些数据，普通的Python爬虫肯定已经淘汰。所以，我们需要借助Charles来抓取手机的HTTP与HTTPS数据包。尽然要通过Charles软件
- 总览浏览器开发者工具在爬虫中常用来进行简单的抓包分析、JS逆向调试，打开方式：F12；快捷键 Ctrl+Shift+I；鼠标右键检查或者审查元素；浏览器右上角 —> 更多工具 —> 开发者工具常见禁用开发者工具手段：https://blog.csdn.net/cplvfx/article/details/108518077官方文档：https://developer.chrome.com/... 总览浏览器开发者工具在爬虫中常用来进行简单的抓包分析、JS逆向调试，打开方式：F12；快捷键 Ctrl+Shift+I；鼠标右键检查或者审查元素；浏览器右上角 —> 更多工具 —> 开发者工具常见禁用开发者工具手段：https://blog.csdn.net/cplvfx/article/details/108518077官方文档：https://developer.chrome.com/...
- 使用python + selenium 爬取抖音美女小姐姐视频 使用python + selenium 爬取抖音美女小姐姐视频
- 虽然Beautiful Soup库的功能非常强大，但CSS选择器功能有些弱，至少对于pyquery库来说是非常弱的。而且pyquery库并不是Python的标准库，所以在使用pyquery库之前需要安装，示例命令如下所示： 虽然Beautiful Soup库的功能非常强大，但CSS选择器功能有些弱，至少对于pyquery库来说是非常弱的。而且pyquery库并不是Python的标准库，所以在使用pyquery库之前需要安装，示例命令如下所示：
- urllib3是比urllib库更强大的存在，目前已经有许多的原生系统已经开始使用urllib3。urllib3具有如下优点：支持HTTP和SOCKS代理；支持压缩编码；100%测试覆盖率；具有链接池；线程安全；客户端SLL/TLS验证；协助处理重复请求和HTTP重定位；使用multipart编码上传文件。 urllib3是比urllib库更强大的存在，目前已经有许多的原生系统已经开始使用urllib3。urllib3具有如下优点：支持HTTP和SOCKS代理；支持压缩编码；100%测试覆盖率；具有链接池；线程安全；客户端SLL/TLS验证；协助处理重复请求和HTTP重定位；使用multipart编码上传文件。
- python学习笔记之爬虫(五) 进程、线程、协程 实战 python学习笔记之爬虫(五) 进程、线程、协程 实战
- pyspider 是一个支持任务监控、项目管理、多种数据库，具有 WebUI 的爬虫框架，它采用 Python 语言编写，分布式架构。详细特性如下：拥有 Web 脚本编辑界面，任务监控器，项目管理器和结构查看器；数据库支持 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL、SQLAlchemy；队列服务支持 RabbitMQ、Beanst... pyspider 是一个支持任务监控、项目管理、多种数据库，具有 WebUI 的爬虫框架，它采用 Python 语言编写，分布式架构。详细特性如下：拥有 Web 脚本编辑界面，任务监控器，项目管理器和结构查看器；数据库支持 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL、SQLAlchemy；队列服务支持 RabbitMQ、Beanst...
- Python 爬虫之 Requests 库 Python 爬虫之 Requests 库
- 全网最全python爬虫系统进阶学习(附原代码)学完可就业 第一章 爬虫介绍 第二章：requests实战（基础爬虫） 第三章：爬虫数据分析（bs4,xpath,正则表达式) 第四章：自动识别验证码 第五章：request模块高级（模拟登录） 第六章：高性能异步爬虫(线程池，协程) 第七章：动态加载数据处理(selenium模块应用,模拟登录12306) 第八章：scrapy框架 全网最全python爬虫系统进阶学习(附原代码)学完可就业 第一章 爬虫介绍 第二章：requests实战（基础爬虫） 第三章：爬虫数据分析（bs4,xpath,正则表达式) 第四章：自动识别验证码 第五章：request模块高级（模拟登录） 第六章：高性能异步爬虫(线程池，协程) 第七章：动态加载数据处理(selenium模块应用,模拟登录12306) 第八章：scrapy框架
- 上一期只是一个简单的例子，获取了网站的一小部分内容，本期开始讲解需要获取网站的所有文章列表。 上一期只是一个简单的例子，获取了网站的一小部分内容，本期开始讲解需要获取网站的所有文章列表。
- 本文介绍了协程、同步与异步的概念及其在 Python 中的应用，详细讲解了 asyncio 模块的基本使用和高级特性。主要内容包括： 1. **协程**：介绍了协程的概念、与子程序的区别、优缺点，以及如何在 Python 中使用协程。 2. **同步与异步**：解释了同步与异步的概念，通过示例代码展示了同步和异步处理的区别和应用场景。 本文介绍了协程、同步与异步的概念及其在 Python 中的应用，详细讲解了 asyncio 模块的基本使用和高级特性。主要内容包括： 1. **协程**：介绍了协程的概念、与子程序的区别、优缺点，以及如何在 Python 中使用协程。 2. **同步与异步**：解释了同步与异步的概念，通过示例代码展示了同步和异步处理的区别和应用场景。
- 本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式（多进程、多线程、协程等）。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信（队列、字典、列表共享）、生产者消费者模型的实现，以及一个实际案例——抓取斗图网站的图片。通过这些内容，读者可以深入理解多任 本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式（多进程、多线程、协程等）。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信（队列、字典、列表共享）、生产者消费者模型的实现，以及一个实际案例——抓取斗图网站的图片。通过这些内容，读者可以深入理解多任
- 大学的时候做过一个小项目，其中有一段需要自动获取网站后台的数据，但是这个网站没有任何提供给开发者的API，所以只能靠自己去探索。起初想着用发送请求的方式去模拟登陆，获取cookies，从而再获取网站后台数据，但是因为自己太菜了一些原因，放弃了这个方法。后来想到使用webdriver调用浏览器来模拟登陆，发现操作起来简单很多，而且可以达到同样的效果，于是便有了这篇文章。 大学的时候做过一个小项目，其中有一段需要自动获取网站后台的数据，但是这个网站没有任何提供给开发者的API，所以只能靠自己去探索。起初想着用发送请求的方式去模拟登陆，获取cookies，从而再获取网站后台数据，但是因为自己太菜了一些原因，放弃了这个方法。后来想到使用webdriver调用浏览器来模拟登陆，发现操作起来简单很多，而且可以达到同样的效果，于是便有了这篇文章。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签