- 大家好，我是丁小杰。记得当初高考完，我选学校的时候是在书店买的高校信息排名的书，然而书中的信息都是很久之前的，并没有什么太大帮助。今天就来带大家爬点真正有用的东西，全国高校信息，涵盖绝大多数高校，并制作可视化看板。话不多说，进入正题！ 数据爬取地址：https://www.gaokao.cn/school/140F12 打开开发者工具，通过抓包工具很轻松的就获取到了 json 文件。我们直接... 大家好，我是丁小杰。记得当初高考完，我选学校的时候是在书店买的高校信息排名的书，然而书中的信息都是很久之前的，并没有什么太大帮助。今天就来带大家爬点真正有用的东西，全国高校信息，涵盖绝大多数高校，并制作可视化看板。话不多说，进入正题！ 数据爬取地址：https://www.gaokao.cn/school/140F12 打开开发者工具，通过抓包工具很轻松的就获取到了 json 文件。我们直接...
- 这个功能可以让你有意想不到的用处 这个功能可以让你有意想不到的用处
- 很多人都不知道的一个HTML标签。 很多人都不知道的一个HTML标签。
- CSV文件操作起来还挺方便的 CSV文件操作起来还挺方便的
- 爬取天气，就是玩 爬取天气，就是玩
- 爬虫系列：存储媒体文件 爬虫系列：存储媒体文件
- 爬虫还挺有趣的 爬虫还挺有趣的
- 情景再现 本文关键词 挑个“软柿子” 单页爬取 数据处理 翻页操作 撸代码 主调度函数 页面抓取函数 解析保存函数 可视化 颜色分布 评价词云图 情景再现今日天气尚好，女友忽然欲买文胸，但不知何色更美，遂命吾剖析何色买者益众，为点议，事后而奖励之。 本文关键词协程并发😊、IP被封😳、IP代理😏、代理被封😭、一种植物🌿 挑个“软柿子”打开京东，直接搜 【文胸】，挑个评论最多的进入详... 情景再现 本文关键词 挑个“软柿子” 单页爬取 数据处理 翻页操作 撸代码 主调度函数 页面抓取函数 解析保存函数 可视化 颜色分布 评价词云图 情景再现今日天气尚好，女友忽然欲买文胸，但不知何色更美，遂命吾剖析何色买者益众，为点议，事后而奖励之。 本文关键词协程并发😊、IP被封😳、IP代理😏、代理被封😭、一种植物🌿 挑个“软柿子”打开京东，直接搜 【文胸】，挑个评论最多的进入详...
- 连接网站与解析 HTML 连接网站与解析 HTML
- 如何通过 User-Agent 识别百度蜘蛛 如何通过 User-Agent 识别百度蜘蛛
- 预定热榜！！！用python分析taptap游戏评价，生成词云，源码赠送 预定热榜！！！用python分析taptap游戏评价，生成词云，源码赠送
- 简介本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。常见加密算法：对称加密（加密解密密钥相同）：DES、3DES、AES、RC4、Rabbit非对称加密（区分公钥和私钥）：RSA、DSA、ECC消息摘要算法/签... 简介本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。常见加密算法：对称加密（加密解密密钥相同）：DES、3DES、AES、RC4、Rabbit非对称加密（区分公钥和私钥）：RSA、DSA、ECC消息摘要算法/签...
- 虽然说XPath比正则表达式用起来方便，但是没有最方便，只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。 虽然说XPath比正则表达式用起来方便，但是没有最方便，只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。
- lxml是Python的一个解析库，专门用于解析XML与HTML，支持XPath解析方式。由于lxml库的底层是使用C语言编写的，所以其解析效率非常的高。在我们后面讲解使用该库之前，我们需要安装该库。一般通过如下命令进行安装即可，代码如下： lxml是Python的一个解析库，专门用于解析XML与HTML，支持XPath解析方式。由于lxml库的底层是使用C语言编写的，所以其解析效率非常的高。在我们后面讲解使用该库之前，我们需要安装该库。一般通过如下命令进行安装即可，代码如下：
- 首先，我们先来看看requests库可以进行哪些操作：1. 发送HTTP请求；2. 上传文件；3. 处理Cookie；4. 支持Session会话；5. 使用代理；6. 身份验证；7. 打包请求；8. SSL证书验证。下面，我们来一一介绍这些操作具体是如何实现的。 首先，我们先来看看requests库可以进行哪些操作：1. 发送HTTP请求；2. 上传文件；3. 处理Cookie；4. 支持Session会话；5. 使用代理；6. 身份验证；7. 打包请求；8. SSL证书验证。下面，我们来一一介绍这些操作具体是如何实现的。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签