- 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag... 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag...
- 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法... 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法...
- 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，... 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，...
- Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal... Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal...
- 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon... 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon...
- 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安... 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安...
- 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用... 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用...
- 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子... 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子...
- 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操... 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操...
- 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是... 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是...
- 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut... 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut...
- 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：... 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：...
- 网友：我这就去把手机的清理软件给卸载了。 网友：我这就去把手机的清理软件给卸载了。
- 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件... 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件...
- 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总... 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
即将直播
热门标签