在Nginx中如何只限制百度等蜘蛛的抓取频率？

发布：2022/12/27 14:34:27作者：管理员来源：本站浏览次数：752

Q:发现有时候，百度抓取非常频繁，会导致服务器压力过大。如何限制他们的抓取频率？

A:nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次，多余的抓取请求返回503。

nginx的配置：

全局配置

limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;

某个server中

limit_req zone=anti_spider burst=5 nodelay;

if ($http_user_agent ~* "baiduspider") {

set $anti_spider $http_user_agent;

}

参数说明：

指令limit_req_zone 中的rate=200r/m 表示每分钟只能处理200个请求。

指令limit_req 中的burst=5 表示最大并发为5。即同一时间只能同时处理5个请求。