- 个人公众号 yk 坤帝 后台回复 爬虫开发实战 获取整理资源 第一章：反爬基础简介 第二章：requests模块基础 01.requests第一血.py 02.requests实战之网页采集器.py 03.requests实战之破解百度翻译.py 第一章：反爬基础简介 前戏： 1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源… 2.你是否在... 个人公众号 yk 坤帝 后台回复 爬虫开发实战 获取整理资源 第一章：反爬基础简介 第二章：requests模块基础 01.requests第一血.py 02.requests实战之网页采集器.py 03.requests实战之破解百度翻译.py 第一章：反爬基础简介 前戏： 1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源… 2.你是否在...
- 文章目录 前言 回答问题的思路 1. 先说排查思路 2. 再说可能造成访问慢的原因 3. 怎么优化网站打开速度 总结 前言 网站访问慢的原因是面试官最喜欢问的问题，这种问题并没有标准答案，你随便说几个原因即可，哪怕原因很离谱都没关系。 问这个问题的面试官，有一种情况是因为公司遇到了网站访问慢的问题，他... 文章目录 前言 回答问题的思路 1. 先说排查思路 2. 再说可能造成访问慢的原因 3. 怎么优化网站打开速度 总结 前言 网站访问慢的原因是面试官最喜欢问的问题，这种问题并没有标准答案，你随便说几个原因即可，哪怕原因很离谱都没关系。 问这个问题的面试官，有一种情况是因为公司遇到了网站访问慢的问题，他...
- 前言 此脚本源于一个学员的刷流量脚本，刷流量脚本使用的是ab命令，但效果似乎并不好，使用ab压测有点大材小用，而且还容易被封号，所以做了下改进，改为公司常用的判断网站是否存活的脚本。 脚本源码 [root@ecs-c13b ~]# cat url.sh #!/bin/bash check_url() { HTTP_CODE=$(curl -o /dev/nul... 前言 此脚本源于一个学员的刷流量脚本，刷流量脚本使用的是ab命令，但效果似乎并不好，使用ab压测有点大材小用，而且还容易被封号，所以做了下改进，改为公司常用的判断网站是否存活的脚本。 脚本源码 [root@ecs-c13b ~]# cat url.sh #!/bin/bash check_url() { HTTP_CODE=$(curl -o /dev/nul...
- 前言 面试核心三问： 你在工作中遇到过什么棘手的问题？ 你当时是怎么处理的？ 通过这个事情你学到了什么？ 我们今天来聊聊你在公司遇到过什么棘手的问题，先把问题列出来，后期在慢慢补，特此声明，部分问题来源于网络，部分问题来源于学员调研，部分来源于技术支持。太小的问题没有写在里面。 备注： 棘手的问题，不一定非是技术方面的，也可以是人际沟通方面的或者其他职... 前言 面试核心三问： 你在工作中遇到过什么棘手的问题？ 你当时是怎么处理的？ 通过这个事情你学到了什么？ 我们今天来聊聊你在公司遇到过什么棘手的问题，先把问题列出来，后期在慢慢补，特此声明，部分问题来源于网络，部分问题来源于学员调研，部分来源于技术支持。太小的问题没有写在里面。 备注： 棘手的问题，不一定非是技术方面的，也可以是人际沟通方面的或者其他职...
- 文章目录 前言 网站访问流程（故事版） 如何排查问题 如果客户说访问web网站慢 如果你访问网站发现的确访问速度很慢，这时候你需要排查网站慢的原因 1） 检查网站服务器是否异常 2） 检查与网站相关联的服务是否异常 3） 使用chrome浏览器开发者工具排查网站打开慢的情况 其他可能的原因 总结 ... 文章目录 前言 网站访问流程（故事版） 如何排查问题 如果客户说访问web网站慢 如果你访问网站发现的确访问速度很慢，这时候你需要排查网站慢的原因 1） 检查网站服务器是否异常 2） 检查与网站相关联的服务是否异常 3） 使用chrome浏览器开发者工具排查网站打开慢的情况 其他可能的原因 总结 ...
- 1.断电续传下载： [root @www.cnscn.org ~ ]# wget -c -t 0 -O new_name.tar.gz http://www.cnscn.org/old_name.tar.gz -c 断点续传 -t 0 反复尝试的次数，0为不限次数 -O name_name.tar.gz 2.普通下载： ... 1.断电续传下载： [root @www.cnscn.org ~ ]# wget -c -t 0 -O new_name.tar.gz http://www.cnscn.org/old_name.tar.gz -c 断点续传 -t 0 反复尝试的次数，0为不限次数 -O name_name.tar.gz 2.普通下载： ...
- 360浏览器 此网站尚未经过身份验证 右下角有个加号圆形按钮，急救修复常见浏览器问题，修复完了好像能用了。 后来发现还是网络连接的ip设置不对，端口没有设置为自动连接。 360浏览器 此网站尚未经过身份验证 右下角有个加号圆形按钮，急救修复常见浏览器问题，修复完了好像能用了。 后来发现还是网络连接的ip设置不对，端口没有设置为自动连接。
- 商品详情页的系统架构 => 缓存架构 => 高并发 => 高可用 电商网站里，大概可以说分成两种 小型电商 简单的一种架构方案，页面静态化的方案大型电商 复杂的一套架构，大电商，国内排名前几的电商，用得应该咱们这里讲解的这套大型的详情页架构 页面静态化，全量的页面静态化 <html> <title></... 商品详情页的系统架构 => 缓存架构 => 高并发 => 高可用 电商网站里，大概可以说分成两种 小型电商 简单的一种架构方案，页面静态化的方案大型电商 复杂的一套架构，大电商，国内排名前几的电商，用得应该咱们这里讲解的这套大型的详情页架构 页面静态化，全量的页面静态化 <html> <title></...
- 写在前面 最近查阅github的时候，发现一个网站http://glidedsky.com/，竟然是一个爬虫练习的网站，作为一个爬虫爱好者，还是有必要挑战一下的，而且看了一下网站的定位，感觉非常棒。 以下内容来源glidedsky.com网站About 定位 镀金的天空是一个互联网技能认证网站，要保证用户解出一道题目就意味着拥有了解决类似问题相应的技能，所以... 写在前面 最近查阅github的时候，发现一个网站http://glidedsky.com/，竟然是一个爬虫练习的网站，作为一个爬虫爱好者，还是有必要挑战一下的，而且看了一下网站的定位，感觉非常棒。 以下内容来源glidedsky.com网站About 定位 镀金的天空是一个互联网技能认证网站，要保证用户解出一道题目就意味着拥有了解决类似问题相应的技能，所以...
- 孰能生巧，用在技术领域在通用不过了，作为一个初学者，需要牢固的掌握技术，那必须依赖自己每日的耕耘。我是梦想橡皮擦，希望某天我们在高处相逢。 Python爬虫目录 写在前面 编码开始 去重手段 完整代码展示 运行结果 写在后面 写在前面 看完标题之后，如果你对什么是增量爬虫产生了疑问，恭喜，你又将有收获了，如... 孰能生巧，用在技术领域在通用不过了，作为一个初学者，需要牢固的掌握技术，那必须依赖自己每日的耕耘。我是梦想橡皮擦，希望某天我们在高处相逢。 Python爬虫目录 写在前面 编码开始 去重手段 完整代码展示 运行结果 写在后面 写在前面 看完标题之后，如果你对什么是增量爬虫产生了疑问，恭喜，你又将有收获了，如...
- 转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自己的水平有限，压根就没有留下深刻的印象，以至于现在开始系统的研究一个框架的时候，总是... 转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自己的水平有限，压根就没有留下深刻的印象，以至于现在开始系统的研究一个框架的时候，总是...
- tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。 直接使用yum安装: yum install tmux ubuntu: apt-get ins... tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。 直接使用yum安装: yum install tmux ubuntu: apt-get ins...
- 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需... 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需...
- 背景交代 在反爬圈子的一个大类，涉及的网站其实蛮多的，目前比较常被爬虫coder欺负的网站，猫眼影视，汽车之家，大众点评，58同城，天眼查…还是蛮多的，技术高手千千万，总有五花八门的反爬技术出现，对于爬虫coder来说，干！就完了，反正也996了~ 作为一个系列的文章，那免不了，依旧拿猫眼影视“学习”吧，为什么？因为它比较典型~ 猫眼影视 打开猫眼专业版，常规操... 背景交代 在反爬圈子的一个大类，涉及的网站其实蛮多的，目前比较常被爬虫coder欺负的网站，猫眼影视，汽车之家，大众点评，58同城，天眼查…还是蛮多的，技术高手千千万，总有五花八门的反爬技术出现，对于爬虫coder来说，干！就完了，反正也996了~ 作为一个系列的文章，那免不了，依旧拿猫眼影视“学习”吧，为什么？因为它比较典型~ 猫眼影视 打开猫眼专业版，常规操...
- SEO分类：白帽SEO、黑帽SEO 白帽SEO： 内容上的SEO： 网站标题、关键字、描述 网站内容优化 Robot.txt文件 网站地图 增加外链引用 前端SEO： 网站结构布局优化 扁平化结构（一般来说，建立的网站目录层次越少，越容易被收录，一般中小型网站，目录层次超过三层，网页爬虫就不太愿意爬行收录） 怎样做到扁平化布局结构： 控制首页链接... SEO分类：白帽SEO、黑帽SEO 白帽SEO： 内容上的SEO： 网站标题、关键字、描述 网站内容优化 Robot.txt文件 网站地图 增加外链引用 前端SEO： 网站结构布局优化 扁平化结构（一般来说，建立的网站目录层次越少，越容易被收录，一般中小型网站，目录层次超过三层，网页爬虫就不太愿意爬行收录） 怎样做到扁平化布局结构： 控制首页链接...
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签