• [整体安全] 【云小课】安全第2课 WAF反爬虫“三板斧”:轻松应对网站恶意爬虫
    【摘要】 WAF可以从识别User-Agent、检查浏览器合法性和限制访问频率三个方面进行网站爬虫防护,帮您精准识别爬虫行为,有效阻止爬虫攻击。关键词:网络蜘蛛 华为云 应用防火墙 网站反爬虫 CC攻击防护网络爬虫(Web Crawler),又称网络蜘蛛(Web Spider)或网络机器人(Web Robot),是一种按照一定的规则,自动获取网页内容并可以按照指定规则提取相应内容的程序或脚本,已被广泛应用于互联网搜索领域。网络爬虫为网络信息收集与查询提供了极大的便利,但同时也对网络安全产生以下负面影响:网络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息,占用服务器带宽,增加服务器的负载。恶意用户利用网络爬虫对Web服务发动DoS攻击,可能使Web服务资源耗尽而不能提供正常服务。恶意用户利用网络爬虫抓取各种敏感信息,造成网站的核心数据被窃取,损害企业经济利益。如果您的网站正在遭受爬虫侵扰,千万不要忍耐,是时候和爬虫来一场大战了。华为云Web应用防火墙(Web Application Firewall,WAF)通过对HTTP(S)请求进行检测,可以识别并阻断恶意爬虫扫描,让您的Web服务免受爬虫攻击,保护您的Web服务安全。只要您有域名,不管您的业务部署在云上还是云下,WAF都可以为您的业务保驾护航。温馨提示:使用WAF前,您需要购买WAF戳这里,并将您的防护域名接入WAF戳这里。反爬虫是一个复杂的过程,针对爬虫常见的行为特征,WAF反爬虫三板斧——Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)可以全方位帮您解决业务网站遭受的爬虫问题,协助您打赢与爬虫的持久战!还等什么,还不赶快把WAF反爬虫三板斧耍起!WAF反爬虫三板斧神器来了一板斧:开启Robot检测检测和拦截恶意爬虫、扫描器、网马等威胁。步骤 1: 进入“网站配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。步骤 2: 在“Web基础防护”配置框,开启Web基础防护后,单击“高级设置”。 步骤 3: 在“Web基础防护”页面,开启“常规检测”和“Webshell”检测开关。步骤 4 :在“网站反爬虫”配置框,开启网站反爬虫后,单击“BOT设置”。步骤 5 :在“特征反爬虫”页面,开启Robot检测开关。当WAF检测到恶意爬虫、扫描器等对网站进行爬取时,将立即拦截并记录该事件,您可以在“防护事件”页面查看爬虫防护日志。----结束二板斧:开启JS脚本反爬虫动态分析网站业务模型,结合人机识别技术和数据风控手段,精准识别爬虫行为。该功能依赖浏览器对javascript代码的解析,因此如果业务接口存在API调用的情况,建议不要开启该防护功能。由于CDN服务会缓存图片、静态资源等文件,如果您的业务接入了CDN服务,该特性将无法达到预期效果,并且有可能造成页面访问异常,建议不要开启该防护功能。步骤 1 :进入“网站配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。步骤 2 :在“网站反爬虫”配置框,开启网站反爬虫后,单击“BOT设置”。 步骤 3: 选择“JS脚本反爬虫”,开启JS脚本反爬虫,并自定义防护模式。开启该防护后,非浏览器的访问将不能获取业务页面。----结束三板斧:开启CC攻击防护限制单个IP/Cookie/Referer访问者对您的网站上特定路径(URL)的访问频率,缓解CC攻击对业务的影响。步骤 1: 进入“网站配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。步骤 2 :在“CC攻击防护”配置框,开启防护后,单击“自定义CC攻击防护规则”。步骤 3 :在“CC防护”规则配置页面左上角,单击“添加规则”。以IP限速为例,添加IP限速规则。设置成功后,当用户访问超过限制后需要输入验证码才能继续访问。----结束WAF除了反爬虫,还提供了网页防篡改、防敏感信息泄露、精准访问防护等防护功能,让您轻松应对各种Web安全风险~~更多关于WAF的功能,戳这里安全无小事,时刻需警惕。2020,华为云普惠云安全,为您的网站、主机、数据提供免费云体检,还有一站式过等保贴心指导,赶紧戳这里,了解详情吧!
  • [问题求助] 在会员中心可否允许用户上传文件到网站空间
    在云速建站的会员中心,可以不可以像电子邮箱那样每个用户可以有一定的空间,好让用户上传自己的文件,
  • [问题求助] 会员中心可以不可以增加升级为管理员选项?
    在云速建站的会员中心里能不能增加升级为网站管理员选项,因为招聘网站管理员非常困难,如果可以增加升级为网站管理员,那么用户自己就会主动成为网站管理员,从而解决问题。
  • [其他] 传统视频网站怎么部署,用什么产品
  • [问题求助] 网页可以不可以设置按时间段显示?
    我们知道可以在网站设置中设置网站在什么时间段显示,但有时候我们只希望某个网页在某个时间段显示,比如当对全国用户收集信息时,我们可以为每个地区生成一个网页,为了避免同时提交信息造成服务器崩溃,可以设置网页按照时间段显示,这样在通知用户填写信息时,告诉用户填写时间段,那么就解决问题了。
  • [问题求助] 网站模板里可以不可以增加网站交易功能
    像华为云的域名支持转让和过户,云速建站也支持模板交易,那么可不可以将网站也像域名那样转让和过户。
  • [互动交流] 如果自己搭建一个,个人的视频网站用什么计费方式便宜些
    用户就是三四个人去看视频,走流量感觉一个1080P 的视频3G左右 好烧钱,另一种峰值计费方式没用过求大佬们指点一下。
  • [问题求助] 我已经续费,网站不能访问,对华为云的违约我要抗议
    我已经续费,网站不能访问,对华为云的违约我要抗议
  • [问题求助] 已经续费了,网站里面还是通知“尽快续费”
    已经续费了,网站里面还是通知“尽快续费”,烦人的很,最后还是无法访问!,求解决
  • [问题求助] 我的网站原来注册是一年过期,可是我已经续费,如何解决网站不能访问
    我的网站原来注册是一年,到期前3个月,已经续费5年,现在过期10多天了,无法登陆,可是我已经续费,并选择了“自动续费”,怎么办?
  • [问题求助] 网站设置 代码认证不通过是怎么回事
    安装百度统计代码到网站,复制代码到红框中,点击保存了,包括右上角的保存也点击了,再次打开 代码没有了。百度统计的代码认证始终不通过
  • [技术干货] FAQ—应用服务论坛(问题求助)总结1月-6月 集合
    应用服务2022年1月-6月论坛问题求助集合华为HCIE上机实验手册的微服务demon编译不过,具体报错如下:https://bbs.huaweicloud.com/forum/thread-179096-1-1.html301重定向设置,开通营销版有这个功能吗?https://bbs.huaweicloud.com/forum/thread-181171-1-1.html请问 把别人网站的图片变成自己网战 的?https://bbs.huaweicloud.com/forum/thread-181243-1-1.html CSE有没有方式能够指定ip和port发起调用https://bbs.huaweicloud.com/forum/thread-181462-1-1.html产品详情的超链接问题https://bbs.huaweicloud.com/forum/thread-181641-1-1.html云速建站怎么添加视频?https://bbs.huaweicloud.com/forum/thread-182220-1-1.html导入产品问题https://bbs.huaweicloud.com/forum/thread-182442-1-1.html文章列表悬停切换分类列表如何设置,如下图https://bbs.huaweicloud.com/forum/thread-182438-1-1.html会员注册短信认证,需要在华为云购买短信服务吗?大佬有学习视频或者流程没?https://bbs.huaweicloud.com/forum/thread-182523-1-1.html选项卡中,如何设置分类显示和标题的总字数,而非仅标题字数https://bbs.huaweicloud.com/forum/thread-182536-1-1.html超级大屏自定义导航怎么设置左边的二级菜单https://bbs.huaweicloud.com/forum/thread-182726-1-1.html麻烦问下2.6.2版本这个类的这个方法用什么替代https://bbs.huaweicloud.com/forum/thread-182818-1-1.html文章详情页不能更改正文字体的大小,求助https://bbs.huaweicloud.com/forum/thread-183116-1-1.html小程序如何设置留言插件https://bbs.huaweicloud.com/forum/thread-183330-1-1.html小程序如何设置留言插件https://bbs.huaweicloud.com/forum/thread-183333-1-1.html小程序搜索结果框怎么设置https://bbs.huaweicloud.com/forum/thread-183334-1-1.html小程序最上面是黑色,怎么设置,如图https://bbs.huaweicloud.com/forum/thread-183529-1-1.htmlDocSDK 在“通用文档全文检索系统”中的作用https://bbs.huaweicloud.com/forum/thread-183695-1-1.html小程序和网站如何设置表单动态展示(如图圈中内容动态展示)https://bbs.huaweicloud.com/forum/thread-183644-1-1.html在线客服转人工获取当前排队数错误https://bbs.huaweicloud.com/forum/thread-182071-1-1.html可否设置必须要登录后才能下载文件?https://bbs.huaweicloud.com/forum/thread-183931-1-1.html网站手机版-产品详情-这一栏怎么取消。自动显示的https://bbs.huaweicloud.com/forum/thread-183904-1-1.html小程序发布出来未找到sitemap,json文件,怎么处理https://bbs.huaweicloud.com/forum/thread-184327-1-1.html云速建站入门版:如何添加附件https://bbs.huaweicloud.com/forum/thread-185052-1-1.html建站入门版:如何添加PDF文件,并在前台显示https://bbs.huaweicloud.com/forum/thread-185050-1-1.htmlServiceComb打开Tls开关,如何能支持常规非CSE服务间访问的HTTP请求https://bbs.huaweicloud.com/forum/thread-185501-1-1.html构建应用失败https://bbs.huaweicloud.com/forum/thread-185382-1-1.html小程序产品详情页底部没有支付和购物车的标志什么解决https://bbs.huaweicloud.com/forum/thread-184688-1-1.html求助 选项卡内的"产品"相关问题https://bbs.huaweicloud.com/forum/thread-185917-1-1.htmlJava 调用APIG触发器的URL 怎么传参数(对象/类)https://bbs.huaweicloud.com/forum/thread-186033-1-1.html有没有开发商品订单核销功能?https://bbs.huaweicloud.com/forum/thread-186150-1-1.html今天小程序加载文章经常丢失,有时候要重新进入小程序好几次才加载出来?https://bbs.huaweicloud.com/forum/thread-186315-1-1.html请问在哪里开具开店证明???https://bbs.huaweicloud.com/forum/thread-186087-1-1.html如何为产品增加一个参数?https://bbs.huaweicloud.com/forum/thread-187493-1-1.html网站所有数据丢失了!!!!!!!公司在催,一个晚上所有数据全没了https://bbs.huaweicloud.com/forum/thread-186723-1-1.html萌新做网站,求大神指点https://bbs.huaweicloud.com/forum/thread-186250-1-1.html已经给子用户授权过,但点击云容器cce资源组,同意cpts后提示开通服务失败https://bbs.huaweicloud.com/forum/thread-188457-1-1.htmlPDF文件在线浏览https://bbs.huaweicloud.com/forum/thread-187074-1-1.html能否同步增加抖音小程序?最近短视频非常流行,流量也非常客观https://bbs.huaweicloud.com/forum/thread-108273-1-1.html请问如何联系版主将帖置顶?https://bbs.huaweicloud.com/forum/thread-21065-1-1.html小程序web插件无法使用。https://bbs.huaweicloud.com/forum/thread-189096-1-1.htmlseo设置 h1标签如何h2标签如何添加https://bbs.huaweicloud.com/forum/thread-188902-1-1.html用户自己不能发起退货?https://bbs.huaweicloud.com/forum/thread-182592-1-1.html建议优化《不支持访问该页面》https://bbs.huaweicloud.com/forum/thread-190130-1-1.html怎么跳转其它小程序?没有的话建议加上啊,好多建站系统都支持了!https://bbs.huaweicloud.com/forum/thread-190083-1-1.htmlFunctionGraph函数常见问题https://bbs.huaweicloud.com/forum/thread-1552-1-1.html文件管理中文件名称怎么更改,系统自动设定,造成文件查询不到https://bbs.huaweicloud.com/forum/thread-191045-1-1.html小白求解生成iOS APP之迷茫https://bbs.huaweicloud.com/forum/thread-191026-1-1.html关于小程序订单管理问题https://bbs.huaweicloud.com/forum/thread-190328-1-1.html ———————————————————————————————————————所有问题已由专业人士进行解答 大家可以看相关信息来找到自己的问题本贴只包含应用服务论坛的信息如您需要别的信息要求可以下方留言欢迎大家讨论~
  • [问题求助] 网站所有数据丢失了!!!!!!!公司在催,一个晚上所有数据全没了
    整整10页的数据,这可怎么办,我心都碎了
  • [技术干货] nginx开启gzip压缩的完整步骤记录
    Nginx开启Gzip压缩功能,可以使网站的css、js 、xml、html文件在传输时进行压缩,提高访问速度,进而优化Nginx性能,下面这篇文章主要给大家介绍了关于nginx开启gzip压缩的相关资料,需要的朋友可以参考下目录• 前言 • 一、配置gzip压缩 • 二、配置详解 • 三、 重启nginx服务 • 总结  前言开启网站gzip压缩,是一个网站最常用的一个增加访问速度的方式,通过压缩静态资源,从而增加网站的访问速度一、配置gzip压缩• 打开nginx的配置文件• 修改nginx中的gzip配置• 命令1vim /etc/nginx/nginx.conf运行二、配置详解关于gzip配置的详细解释如下123456789101112131415161718192021#是否启动gzip压缩,on代表启动,off代表开启gzip  on;  #需要压缩的常见静态资源gzip_types text/plain application/javascript   application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;  #由于nginx的压缩发生在浏览器端而微软的ie6很坑爹,会导致压缩后图片看不见所以该选项是禁止ie6发生压缩gzip_disable "MSIE [1-6]\.";  #如果文件大于1k就启动压缩gzip_min_length 1k;  #以16k为单位,按照原始数据的大小以4倍的方式申请内存空间,一般此项不要修改gzip_buffers 4 16k;  #压缩的等级,数字选择范围是1-9,数字越小压缩的速度越快,消耗cpu就越大gzip_comp_level 2;  #引导的在/etc/nginx/conf.d目录下所有后缀为.conf的子配置文件include /etc/nginx/conf.d/*.conf;三、 重启nginx服务要想配置生效,记得重启nginx服务123nginx -t  nginx -s reload四、是否启用成功第一种方式查看一个网站是否使用gzip压缩,可以使用如下命令命令1curl -I -H "Accept-Encoding:gzip,deflate" "想要查看的网址"如果出现如下结果则开启成功1Content-Encoding:gzip 第二种方式查看一个网站是否使用gzip压缩,可以通过控制台查看打开响应头中的Content-Encoding选项,如果出现gzip,则开启成功Nginx的Gzip压缩功能虽然好用,但是下面两类文件资源不太建议启用此压缩功能。1) 图片类型资源 (还有视频文件)原因:图片如jpg、png文件本身就会有压缩,所以就算开启gzip后,压缩前和压缩后大小没有多大区别,所以开启了反而会白白的浪费资源。(可以试试将一张jpg图片压缩为zip,观察大小并没有多大的变化。虽然zip和gzip算法不一样,但是可以看出压缩图片的价值并不大)2) 大文件资源原因:会消耗大量的cpu资源,且不一定有明显的效果。转载自https://www.jb51.net/article/233586.htm
  • [技术干货] 如何获取设备的sysoid
    开发SND包时,用户需要注册设备sysoid信息。但很多开发者不清楚如何获取sysoid,下面我们就梳理了常见的获取sysoid的方法。sysoid是RFC1213-MIB标准中设定的OID,主要描述设备款型等信息。sysoid和产品款型名称有一一对应的关系,全球唯一。例如,华为设备NE40E-X8A的sysoid对应如下,其中2011代表华为公司编号。       NE40E-X8A         1.3.6.1.4.1.2011.2.62.2.18获取方法:可从https://oidref.com/网站上可以找到,比如通过输入https://oidref.com/1.3.6.1.4.1.9.1进行查找命令行查询,如华为设备一般可以执行display system information查询华为设备可以进入华为公司omsys网站搜索:http://omsys.huawei.com:8080/omsys/index.jspmib browser工具查询
总条数:614 到第
上滑加载中