- 开篇随着 Python 和大数据的火热,大量的工程师蜂拥而上,爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象,爬虫的发展进入了高峰期,因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本,不得不使出各种各样的技术手段来阻止爬虫工程师们毫无节制的向服务器索取资源,我们将这种行为称为『反爬虫』。『反爬虫技术』是互联网技术中为了限制爬虫而产生的技术总称,... 开篇随着 Python 和大数据的火热,大量的工程师蜂拥而上,爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象,爬虫的发展进入了高峰期,因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本,不得不使出各种各样的技术手段来阻止爬虫工程师们毫无节制的向服务器索取资源,我们将这种行为称为『反爬虫』。『反爬虫技术』是互联网技术中为了限制爬虫而产生的技术总称,...
- 初识nginx相信大多数同学已经听说了nginx这个东东,会不会很多同学和我一样一开始接触nginx的时候不知道它是什么?它能干什么?如果需要启服务,完全可以用node,为什么还需要使用nginx?对以上问题,我先引用一下官方对nginx的介绍"Nginx是一款轻量级的HTTP服务器,采用事件驱动的异步非阻塞处理方式框架,这让其具有极好的IO性能,时常用于服务端的反向代理和负载均衡。"应用场... 初识nginx相信大多数同学已经听说了nginx这个东东,会不会很多同学和我一样一开始接触nginx的时候不知道它是什么?它能干什么?如果需要启服务,完全可以用node,为什么还需要使用nginx?对以上问题,我先引用一下官方对nginx的介绍"Nginx是一款轻量级的HTTP服务器,采用事件驱动的异步非阻塞处理方式框架,这让其具有极好的IO性能,时常用于服务端的反向代理和负载均衡。"应用场...
- 冰冻三尺非一日之寒,一个大型系统的构建也不是一朝一夕的事情。我们需要根据业务情况、数据量情况、请求量情况对系统进行合理规划。 冰冻三尺非一日之寒,一个大型系统的构建也不是一朝一夕的事情。我们需要根据业务情况、数据量情况、请求量情况对系统进行合理规划。
- 本文转载自公众号 架构师之路一、什么是高并发高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。响应时间:系统对请求做出响应的时间。例... 本文转载自公众号 架构师之路一、什么是高并发高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(Response Time),吞吐量(Throughput),每秒查询率QPS(Query Per Second),并发用户数等。响应时间:系统对请求做出响应的时间。例...
- 前言距离上次被DDOS攻击已经有10天左右的时间,距离上上次已经记不起具体那一天了,每一次都这么不了了之。然而近期一次相对持久的攻击,我觉得有必要静下心来,分享一下被 黑的那段经历。在叙述经历之前,先简单的介绍一下服务器配置情况:ECS 1核2G内存1MB带宽,Linux系统RDS 2核240MB内存,最大连接数60Redis 256MB共享实例,搬家之后没用到CDN 按量付费,缓存小文件以... 前言距离上次被DDOS攻击已经有10天左右的时间,距离上上次已经记不起具体那一天了,每一次都这么不了了之。然而近期一次相对持久的攻击,我觉得有必要静下心来,分享一下被 黑的那段经历。在叙述经历之前,先简单的介绍一下服务器配置情况:ECS 1核2G内存1MB带宽,Linux系统RDS 2核240MB内存,最大连接数60Redis 256MB共享实例,搬家之后没用到CDN 按量付费,缓存小文件以...
- 一个月前,我想在阿里云 ECS 上部署一个 PHP 接口,发现服务器没有配置 PHP-FPM,所以立刻捣鼓了下,没想到是最后花了一小时才搞定,事后分析了下,就是太急躁了,没有使用正确的方法解决问题。 一个教训:不管遇到任何事情,切记不能着急,仔细查阅文档才是正道。 一个月前,我想在阿里云 ECS 上部署一个 PHP 接口,发现服务器没有配置 PHP-FPM,所以立刻捣鼓了下,没想到是最后花了一小时才搞定,事后分析了下,就是太急躁了,没有使用正确的方法解决问题。 一个教训:不管遇到任何事情,切记不能着急,仔细查阅文档才是正道。
- 这周三,有个老同事和我讨论了一个 HTTPS 问题,实质上却是 Nginx 的 rewrite 规则问题,我仔细阅读了官方文档,发现解释的不是特别明了,逐写了这篇博文。rewrite 的语法规则如下:Syntax: rewrite regex replacement [flag]; Context: server, location, if我们暂时不考虑 flag 参数,先从简单的说起,首先... 这周三,有个老同事和我讨论了一个 HTTPS 问题,实质上却是 Nginx 的 rewrite 规则问题,我仔细阅读了官方文档,发现解释的不是特别明了,逐写了这篇博文。rewrite 的语法规则如下:Syntax: rewrite regex replacement [flag]; Context: server, location, if我们暂时不考虑 flag 参数,先从简单的说起,首先...
- 头顶羽毛(Apache 的 Logo 形象),身上的写着名字的牌子都是补上去的(a patch,即 Apache 这个词的出处)一脸懵逼,对小毛头 Nginx 说,“放尊重点,你觉得你已经能取代像我这样的老同志了吗?!” 头顶羽毛(Apache 的 Logo 形象),身上的写着名字的牌子都是补上去的(a patch,即 Apache 这个词的出处)一脸懵逼,对小毛头 Nginx 说,“放尊重点,你觉得你已经能取代像我这样的老同志了吗?!”
- nginx unit服务非正常关闭后,出现bind(6, unix:control.unit.sock) failed (98: Address already in use)异常错误提示,且无法启动服务的问题处理 nginx unit服务非正常关闭后,出现bind(6, unix:control.unit.sock) failed (98: Address already in use)异常错误提示,且无法启动服务的问题处理
- 当单机无法支撑一个网站应用时,就要考虑使用多台机器横向扩展的方式来处理更多请求了。把请求分发到多台服务器上的技术就是负载均衡。 专业的负载均衡服务有 LVS,HAProxy 等,在网站服务器还没达到一定规模的情况下,使用 Nginx 的负载均衡也许是个更简单好用的选择。为了演示使用 Nginx 的负载均衡功能有多容易,下面将先展示一个极... 当单机无法支撑一个网站应用时,就要考虑使用多台机器横向扩展的方式来处理更多请求了。把请求分发到多台服务器上的技术就是负载均衡。 专业的负载均衡服务有 LVS,HAProxy 等,在网站服务器还没达到一定规模的情况下,使用 Nginx 的负载均衡也许是个更简单好用的选择。为了演示使用 Nginx 的负载均衡功能有多容易,下面将先展示一个极...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中 -
华为云开发者AI素养直播课·第四期2026/08/28 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;吴松明-华为云AI开发者案例开发专家
EduSwarm 是一个基于多智能体框架构建的 AI 教师团队协作平台:把备课、上课、作业、批改、学情等教学环节,交给多位专职 AI Agent(课件师、出题官、批改师、学情分析师等)协作完成。教师从「亲力亲为」变成「做决策」,学生只需凭课堂码加入即可实时跟课。
回顾中
热门标签