隐藏

高版本ginx+Lua+Redis自动拦截访问频率过高IP

发布:2022/12/19 16:46:18作者:管理员 来源:本站 浏览次数:552

Nginx+Lua+Redis安装在公网IP为x.x.x.x的服务器上


下载安装的软件版本:nginx-1.18.0+luajit2-2.1+redis-4.0.10

Nginx+Lua+Redis安装

第一步,安装编译工具及库文件。


命令:yum groupinstall -y "Development Tools"


yum install -y libxml2-devel curl-devel pcre-devel siege traceroute vim gcc zlib zlib-devel pcre-devel openssl openssl-devel lua-devel

第二步,安装LuaJIT。


命令:cd /usr/local/src


wget https://github.com/openresty/luajit2/tags/luajit2-2.1-20220111.tar.gz


tar zxvf luajit2-2.1-20220111.tar.gz


cd luajit2-2.1-20220111


make PREFIX=/usr/local/luajit2-2.1


make install PREFIX=/usr/local/luajit2-2.1


配置环境变量:


   export LUAJIT_LIB=/usr/local/luajit2-2.1/bin


   export LUAJIT_INC=/usr/local/luajit2-2.1/include/luajit-2.1


配置文件生效命令:source /etc/profile

第三步,安装PCRE。( 目的是让 Nginx 支持 Rewrite 功能)


下载 PCRE 安装包命令:cd /usr/local/src


wget Download PCRE from SourceForge.net


解压安装包命令:tar zxvf pcre-8.35.tar.gz


编译安装命令:cd pcre-8.35


./configure


make


make install


查看PCRE版本命令:pcre-config --version

第四步,安装nginx。


下载命令:cd /usr/local/src


#下载ngx_devel_kit和lua-nginx-module


wget https://github.com/vision5/ngx_devel_kit/releases/ngx_devel_kit-0.3.1.tar.gz


wget https://github.com/openresty/lua-nginx-module/tags?after=v0.10.15rc1/lua-nginx-module-0.10.13.tar.gz


#下载nginx


wget http://nginx.org/download/nginx-1.18.0.tar.gz


解压文件命令:tar zxvf ngx_devel_kit-0.3.1.tar.gz


tar zxvf lua-nginx-module-0.10.13.tar.gz


tar zxvf nginx-1.18.0.tar.gz


编译安装nginx命令:cd nginx-1.18.0


./configure --prefix=/usr/local/nginx --sbin-path=/usr/local/nginx/sbin/nginx --conf-path=/usr/local/nginx/conf/nginx.conf --error-log-path=/usr/local/nginx/logs/error.log --http-log-path=/usr/local/nginx/logs/access.log --pid-path=/usr/local/nginx/logs/nginx.pid  --lock-path=/var/lock/subsys/nginx --http-client-body-temp-path=/var/tmp/nginx/client --http-proxy-temp-path=/var/tmp/nginx/proxy --http-fastcgi-temp-path=/var/tmp/nginx/fcgi --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-http_v2_module --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-ipv6 --with-http_stub_status_module --with-http_auth_request_module --with-mail --with-mail_ssl_module --with-file-aio --with-http_v2_module --with-threads --with-stream --with-stream_ssl_module --add-module=/usr/local/src/ngx_devel_kit-0.3.1 --add-module=/usr/local/src/lua-nginx-module-0.10.13


make


make install


若结果显示“[-Werror=unused-but-set-variable]”,则修改文件/usr/local/src/nginx-1.18.0/objs/Makefile,去掉“CFLAGS = -I/usr/local/luajit2-2.1/include/luajit-2.1  -pipe  -O -W -Wall -Wpointer-arith -Wno-unused-parameter -Werror -g  -DNDK_SET_VAR”中的“-Werror”。然后再次进行编译。


若结果显示“make[1]: *** [/usr/local/src/lua-nginx-module-0.10.13/src/ngx_http_lua_headers.c:151] Error1  make[1]: Leaving directory `/usr/local/src/nginx-1.18.0′”,则只需要把文件ngx_http_lua_headers.c中第151行用“/* */”注释掉即可。然后再次进行编译就没有问题了。


查看nginx版本命令:/usr/local/nginx/sbin/nginx -v


或                              /usr/local/nginx/sbin/nginx -V


若结果显示“error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory”,则可以用命令“yum -y install lua*”安装依赖库,配置LuaJIT环境变量。或者使用下面的命令创建软连接:


ln -s /usr/local/luajit2-2.1/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2


若结果显示“nginx version: nginx-1.18.0”,则nginx就安装完成。

第五步,安装redis。


下载redis安装包命令:mkdir /usr/local/redisfile


cd /usr/local/redisfile


wget http://download.redis.io/releases/redis-4.0.10.tar.gz


解压安装包命令:tar zxvf redis-4.0.10.tar.gz


编译安装命令:cd redis-4.0.10


make


cd /usr/local/redisfile/redis-4.0.10/src


make install

第六步,安装lua-resty-redis。


在网址:https://codeload.github.com/agentzh/lua-resty-redis/tar.gz/v0.26下载lua-resty-redis-0.26.tar.gz文件后,上传到服务器/usr/local/src文件夹中,然后进行解压。把/usr/local/src/lua-resty-redis/lib/resty中的redis.lua复制到/usr/local/nginx文件夹中,命名为redis.lua。


命令:cd /usr/local/src


tar zxvf lua-resty-redis-0.26.tar.gz


cd /usr/local/src/lua-resty-redis-0.26/lib/resty


cp redis.lua /usr/local/nginx/redis.lua

Nginx+Lua+Redis配置

第一步,修改redis配置文件。


1)为了方便管理,在/usr/local中新建/redis/etc文件夹,并在将/usr/local/redisfile/redis-4.0.10文件夹中的conf配置文件复制粘贴到/usr/local/redis/etc。原生的配置文件不用变,改完之后还能回到原来的样子,以保证安全。


命令:cp /usr/local/redisfile/redis-4.0.10/redis.conf /usr/local/redis/etc


2)在/usr/local中新建/redis/bin文件夹,/usr/local/redisfile/redis-4.0.10/src文件夹中的常用命令复制粘贴到/usr/local/redis/bin。


命令:cd /usr/local/redisfile/redis-4.0.10/src

cp mkreleasdhdr.sh redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin


3)redis开启访问权限的方法。


编辑配置/usr/local/redis/etc/redis.conf文件,修改“bind 127.0.0.1”为“bind 0.0.0.0”,再把“daemonize no”改为“daemonize yes”,“requirepass foobared”改为“requirepass 123456”,“dir ./”改为“dir /usr/local/redis/db”,“logfile ”改为“logfile /usr/local/redis/logs/redis.log”,保存并重启redis。

第二步,创建 Nginx 运行使用的用户nginx。


命令:useradd -s /sbin/nologin -M nginx


( Nginx 服务的默认用户是 nobody ,为了安全更改为 nginx,在配置文件中启用user nginx nginx;)

第三步,修改nginx配置文件。


配置nginx.conf文件,/usr/local/nginx/conf/nginx.conf内容如下:


   user nginx nginx;  #用户名设置为刚刚创建的用户名


   worker_processes 4;  #设置值和CPU核心数一致


   error_log /usr/local/nginx/logs/nginx_error.log crit;  #日志位置和日志级别


   pid /usr/local/nginx/logs/nginx.pid; #pid文件路径修改


   worker_rlimit_nofile 65535;  #工作最大限制


   events


   {


        use epoll;#添加这行命令


        worker_connections 65535;  #工作最大限制


   }


   http


   {


        include mime.types;


        default_type application/octet-stream;


        lua_package_path "/usr/local/nginx/redis.lua;;";


        ...


        server


        {


             listen 80;  #监听端口


             server_name localhost;  #域名,当前IP地址


             charset utf-8;  #编码改为utf-8


             location / {


                   root   html;


                   index  index.html index.htm;


             }


             ...


   }


Nginx+Lua+Redis启动和访问站点

第一步,启动nginx。


命令:/usr/local/nginx/sbin/nginx

第二步,检查nginx是否已经启动。(查看是否有进程)


命令:ps -ef | grep nginx


若结果的第一行显示“nginx:master process”,nginx已经启动。


注意:nginx:master process后面有一个路径,这就是nginx的安装路径。

第三步,访问nginx站点。


在浏览器访问已经配置好的站点IP,如果页面显示“Welcome to nginx!”,则说明Nginx已经安装及配置好了。

第四步,关闭nginx。


命令:/usr/local/nginx/sbin/nginx -s stop

第五步,配置文件修改后,需要指定配置文件进行nginx重启。


如果nginx服务已经停止,那就需要把nginx服务启动。


命令:/usr/local/nginx/sbin/nginx  -c /usr/local/nginx/conf/nginx.conf


重启nginx服务必须是在nginx服务已经启动的情况下进行,因为这时,/usr/local/nginx/logs中存在nginx.pid文件。


命令:/usr/local/nginx/sbin/nginx  -s  reload

第六步,前台启动redis服务。


命令:/usr/local/redis/bin/redis-server


注意:执行完该命令后,如果Lunix关闭当前会话,则redis服务也随即关闭。正常情况下,启动redis服务需要从后台启动,并且指定启动配置文件。

第七步,后台启动redis服务。


再次启动redis服务,并指定启动服务配置文件。


命令:cd /usr/local/redis/bin


./redis-server &                  #不会带上redis.conf配置文件启动


redis-server /usr/local/redis/etc/redis.conf


#结果第一行最后面显示redis端口


ps -ef | grep redis


#结果第一行最后面显示redis进程号


netstat -nap | grep  6379


服务端启动成功后,启动redis 客户端,查看端口号。


命令:redis-cli


auth 123456


set [key] [value]


get [key]


exit


netstat -nap | grep 6379

第八步,前台和后台关闭redis服务。


命令:pkill redis-server


/usr/local/redis/bin/redis-cli shutdown


netstat -nap | grep 6379

在Nginx中使用Lua脚本访问Redis

第一步,连接redis,然后添加一些测试参数。


命令:redis-cli


auth 123456


set "123" "456"

第二步,编写访问控制的Lua脚本。


在/usr/local/nginx/conf/lua中新建脚本文件test.lua,在文件中写入下面的代码:


   ip_bind_time = 600  --封禁IP时间


   ip_time_out = 30    --指定ip访问频率时间段


   connect_count = 20 --指定ip访问频率计数最大值


   --连接redis


   local redis = require "resty.redis"


   local red = redis:new()


   local ok, err = red:connect("127.0.0.1", 6379)


   red:set_timeout(1000) -- 1 sec


   ok , err = red:auth("123456")


   --如果连接失败,跳转到脚本结尾


   if not ok then


       goto A


   end


   --查询ip是否在封禁段内,若在则返回403错误代码


   --因封禁时间会大于ip记录时间,故此处不对ip时间key和计数key做处理


   is_bind, err = red:get("bind:"..ngx.var.remote_addr)


   if is_bind == '1' then


       ngx.exit(403)


       goto A


   end


   --如果ip记录时间大于指定时间间隔或者记录时间或者不存在ip时间key则重置时间key和计数key


   --如果ip时间key小于时间间隔,则ip计数+1,且如果ip计数大于ip频率计数,则设置ip的封禁key为1


   --同时设置封禁key的过期时间为封禁ip的时间


   start_time, err = red:get("time:"..ngx.var.remote_addr)


   ip_count, err = red:get("count:"..ngx.var.remote_addr)


   if start_time == ngx.null or os.time() - start_time > ip_time_out then


       res, err = red:set("time:"..ngx.var.remote_addr , os.time())


       res, err = red:set("count:"..ngx.var.remote_addr , 1)


   else


       ip_count = ip_count + 1


       res, err = red:incr("count:"..ngx.var.remote_addr)


       if ip_count >= connect_count then


           res, err = red:set("bind:"..ngx.var.remote_addr, 1)


           res, err = red:expire("bind:"..ngx.var.remote_addr, ip_bind_time)


       end


   end


   -- 结束标记


   ::A::


   local ok, err = red:close()


第三步,在/usr/local/nginx/conf/nginx.conf中的http{}里面新添加以下location。


   location / {


           default_type text/plain;


           access_by_lua_file /usr/local/nginx/lua/test.lua;


           root   html;


           index  index.html index.htm;


   }


   # 测试页面是否显示


   location /lua_test {


            default_type text/plain;


            access_by_lua 'ngx.say("hello,lua!")';


   }


   location =/access_by_lua_block {


           default_type text/plain;


           access_by_lua_block {


                  ngx.say('Hello:access_by_lua_block')


           }


   }


   location /lua {


           default_type text/plain;


           access_by_lua_file /usr/local/nginx/lua/test.lua;


   }


第四步,修改完nginx.conf后,重启nginx以及redis。


命令:service nginx restart


或    /usr/local/nginx/sbin/nginx -s reload


ps -ef | grep nginx


cd /usr/local/redis/bin


pkill redis-server


/usr/local/redis/bin/redis-cli shutdown


netstat -nap | grep 6379


/usr/local/redis/bin/redis-server &


redis-server /usr/local/redis/etc/redis.conf


ps -ef | grep redis


netstat -nap | grep  6379

第五步,访问x.x.x.x:8080和x.x.x.x:8080/lua,并一直按F5刷新。


连接redis命令:


redis-cli


127.0.0.1:6379> auth 123456


127.0.0.1:6379> keys *


1)"count:115.148.157.35"


127.0.0.1:6379> get  "count:115.148.157.35"


"20"


127.0.0.1:6379> del "count:115.148.157.35"


发现redis已经在统计访问页面的访问次数。


这个key的过期时间是30秒,若30秒没有重复访问20次,则这个key就会消失。因此,正常用户一般不会触发这个封禁的脚本。


当30秒内访问页面超过20次,触发了封禁脚本,页面显示“403 Forbidden”时,连接redis结果显示"count:115.148.157.35",那这个key的过期时间是300秒,即300秒内这个ip无法继续访问x.x.x.x:8080和x.x.x.x:8080/lua页面。


这个脚本的目的:若一个IP在30秒内访问页面超过20次,则表明该IP访问频率太快,因此将该IP封禁10分钟。同时由于在redis中,key的超时时间设置为30秒,所以若两次访问间隔时间大于30秒,则将会重新开始计数。

关机重启,nginx会自动启动

第一步,修改/etc/rc.d/rc.local文件。


在/etc/rc.d/rc.local文件最后一行下面另起一行添加下面的代码:


   /usr/local/nginx/sbin/nginx


第二步,给予/etc/rc.d/rc.local权限。


命令:cd /etc/rc.d


chmod +x /etc/rc.d/rc.local

第三步,服务器重启后,查看nginx是否成功自动启动。


与“nginx启动和访问站点”中的第二步和第三步一样操作。


命令:shutdown -r now  或  reboot  或  init 6  #立刻重启


         shutdown -r 10     #过10分钟自动重启

关机重启,redis会自动启动


使用redis启动/usr/local/redisfile/redis-4.0.10/utils中的脚本redis_init_script设置开机自启动。

第一步,修改redis_init_script脚本代码。


redis_init_script脚本代码如下:


   #!/bin/sh


   ...


   #服务端所处位置


   EXEC=/usr/local/redis/bin/redis-server


   #客户端位置


   CLIEXEC=/usr/local/redis/bin/redis-cli


   #redis的PID文件位置,需要修改


   PIDFILE=/var/run/redis_${REDISPORT}.pid


   #redis的配置文件位置,需将${REDISPORT}修改为文件名


   CONF="/usr/local/redis/etc/redis.conf"


   ...


第二步,将redis_init_script复制到/etc/rc.d/init.d目录下。


redis_init_script复制到/etc/rc.d/init.d,复制粘贴的启动脚本会被命名为redisd(通常都以d结尾表示是后台自启动服务)。


命令:cd /usr/local/redisfile/redis-4.0.10/utils


cp redis_init_script /etc/rc.d/init.d/redisd


chmod +x /etc/rc.d/init.d/redisd


#设置为开机自启动服务器


chkconfig redisd on


在设置开机自启动时,发现错误:


service redisd does not support chkconfig


这个错误的解决办法是在启动脚本开头添加如下注释来修改运行级别,如下:


#!/bin/sh


# chkconfig:   2345 90 10


再用命令:chkconfig redisd on设置即可。

不进入redis根目录即可进行相应的操作


打开服务:service redisd start


关闭服务:service redisd stop

不进入nginx根目录即可进行相应的操作

第一步,新建nginx启动脚本代码。


在文件夹/etc/init.d中新建名为nginx的文件,然后写入下面代码成为脚本文件。代码如下:


   #!/bin/bash


   # nginx Startup script for the Nginx HTTP Server


   # it is v.0.0.2 version.


   # chkconfig: - 85 15


   # description: Nginx is a high-performance web and proxy server.


   #              It has a lot of features, but it's not for everyone.


   # processname: nginx


   # pidfile: /var/run/nginx.pid


   # config: /usr/local/nginx/conf/nginx.conf


   nginxd=/usr/sbin/nginx


   nginx_config=/etc/nginx/nginx.conf


   nginx_pid=/var/run/nginx.pid


   RETVAL=0


   prog="nginx"


   # Source function library.


   . /etc/rc.d/init.d/functions


   # Source networking configuration.


   . /etc/sysconfig/network


   # Check that networking is up.


   [ ${NETWORKING} = "no" ] && exit 0


   [ -x $nginxd ] || exit 0


   # Start nginx daemons functions.


   start() {


   if [ -e $nginx_pid ];then


      echo "nginx already running...."


      exit 1


   fi


      echo -n $"Starting $prog: "


      daemon $nginxd -c ${nginx_config}


      RETVAL=$?


      echo


      [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx


      return $RETVAL


   }


   # Stop nginx daemons functions.


   stop() {


           echo -n $"Stopping $prog: "


           killproc $nginxd


           RETVAL=$?


           echo


           [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/run/nginx.pid


   }


   # reload nginx service functions.


   reload() {


       echo -n $"Reloading $prog: "


       #kill -HUP `cat ${nginx_pid}`


       killproc $nginxd -HUP


       RETVAL=$?


       echo


   }


   # See how we were called.


   case "$1" in


   start)


           start


           ;;


   stop)


           stop


           ;;


   reload)


           reload


           ;;


   restart)


           stop


           start


           ;;


   status)


           status $prog


           RETVAL=$?


           ;;


   *)


           echo $"Usage: $prog {start|stop|restart|reload|status|help}"


           exit 1


   esac


   exit $RETVAL


第二步,给予/etc/init.d/nginx文件权限。


命令 :chmod +x /etc/init.d/nginx


# 设置开机自启


命令:chkconfig --add nginx


chkconfig nginx on


# 检查nginx命令


命令:service nginx


/etc/init.d/nginx: line 20: [: =: unary operator expected


Usage: nginx {start|stop|restart|reload|status|help}

第三步,检查一下脚本是否有用。


命令:/sbin/chkconfig nginx on


sudo /sbin/chkconfig --list nginx


如果结果显示“nginx 0:off 1:off 2:on 3:on 4:on 5:on 6:off”,则说明脚本文件有用。

第四步,nginx启动、关闭以及重启命令。


ps -ef | grep nginx


systemctl start nginx


systemctl stop nginx


systemctl restart nginx



service nginx start


service nginx stop


service nginx restart