首页 > 教程 >
宝塔面板根据访问协议头屏蔽字节跳动爬虫
2023-02-14教程围观次
简介最近,字节跳动搜索引擎的爬虫疯狂爬取全网资源,导致一些小网站服务器不堪重负,严重的直接使网站宕机。我们有很多方法可屏蔽掉爬虫,比如robot.txt,但是貌似字节跳动旗下的今日头条爬虫比较流氓,他不遵守这个!还有一个通过屏蔽IP的方式,但是一般爬虫的IP地址比较多,这个也挺麻烦。这里站长图库介绍一种方法,有一定的效果,如下:nginx在站点的设置,配置文件中server{}中添加#禁止爬虫工具的抓
最近, 字节跳动搜索引擎的 爬虫疯狂爬取全网资源,导致一些小网站服务器不堪重负,严重的直接使网站宕机。
我们有很多方法可屏蔽掉爬虫,比如 robot.txt ,但是貌似字节跳动旗下的今日头条爬虫比较流氓,他不遵守这个!还有一个通过屏蔽IP的方式,但是一般爬虫的IP地址比较多,这个也挺麻烦。
这里站长图库介绍一种方法,有一定的效果,如下:
nginx在站点的设置,配置文件中 server{ } 中添加
#禁止爬虫工具的抓取if ($http_user_agent ~* "Bytespider|YisouSpider") { return 403;}
注:Bytespider 为字节跳动爬虫的 协议头
Apache:
在伪静态里设置 这里以thinkphp为例!
<IfModule mod_rewrite.c>RewriteEngine onRewriteCond %{REQUEST_FILENAME} !-dRewriteCond %{REQUEST_FILENAME} !-fRewriteRule ^(.*)$ index.php [L,E=PATH_INFO:$1] #禁止爬虫工具的抓取RewriteCond %{HTTP_USER_AGENT} "^.*Bytespider.*|.*YisouSpider.*$" [NC]RewriteRule ^(.*)$ - [R=404,L]</IfModule>
以上,就是根据访问协议头屏蔽字节跳动爬虫的方法,希望能对大家有所帮助!
下载链接:网站源码/小程序源码/网站模板下载
下载排行
- 微信小程序+公众号的流量主收入图在线制作微信小程序源码
- 梦想贩卖机v2版1.0.27知识付费小程序源码
- 苹果CMS V10专享版MXoneV10.6魔改版影视网站模板/二开大气短视频网站模板
- 在线教育知识付费类源码 带手机端+集成支付功能+课程分销系统
- H5网页漫画小说苹果cms模板源码/支持对接公众号/支持三级分销
- PHP带后台号卡推广管理系统源码
- 最新开源多城市地方房产门户系统源码/ThinkPHP房产房市营销推广系统去授权修复版自适应移动端
- 仿百度知道系统源码/知识问答系统源码/完整PC+手机端带功能强大后台管理系统
- 帝国CMS仿《下载王》源码 简洁手机应用软件游戏下载门户模板/帝国cms内核/带手机站
- 智力测试情商测试小程序源码/带流量主提升智力微信小程序源码
最新发布
-
最新去水印小程序源码分享/无需后台/对接接口/支持全网去水印功能
-
群多多社群人脉H5-2.1.4多开插件+小程序独立前端+搭建教程
-
七夕情侣飞行棋游戏限定版本源码/解锁版
-
苹果CMS海螺模版V20修复版/加广告代码
-
宠物社区风格 商业版(GBK)Discuz模板
-
全新UI基于Thinkphp的最新自助打印系统/云打印小程序源码/附教程
-
易优CMS家纺家居装饰类网站模板/EyouCMS家具家居类企业网站模板
-
EyouCMS艺术***摄影工作室网站模板/易优CMS摄影工作室网站模板
-
易优CMS响应式精品茶具实木茶盘销售网站模板/EyouCMS响应式酒水饮料类企业网站模板
-
EyouCMS响应式推土机挖掘机机械类网站模板/易优CMS机械设备类企业网站模板