隐藏

IIS中 .NET Web Api后台接口监控解决方案

发布:2021/7/13 10:15:26作者:管理员 来源:本站 浏览次数:1068

一,设置IIS日志文件的生成

1.点击网站可以看见本机所有的托管网站且IIS自动分配了ID(这个ID待会要用到)

2.在IIS中打开需要监控端口的主页--》双击打开日志

1 选择日志格式 这里我们选择w3c 就ok 可以点击选择字段 添加自己所需字段 既然是监控 那肯定少不了 请求的接口(URI资源),发送的字节数(sc-bytes),接收的字节数(cs-bytes),响应时间(time-taken)等

2 修改存放的路径,文件夹需要给IIS用户添加修改权限(方便读取完信息后移除或删除文件)

3 这里我们是监控接口的访问量,吞吐量和响应速度,所以只需要记录日志文件就好了

4 计划我这里添加的是每个小时生成一个新的文件 为什么不设置每天嘞 因为我是想监控前几个小时的一个需求 所以要把生成一个文件的频率调高一点 不然你读取和修改这个文件会报错和IIS写日志冲突掉

5 使用本地时间进行文件命名和滚动更新 这里要注意的是IIS生成的日志文件名是使用本地时间 但是文件内的日志生成时间使用的是格林威治时间

6 设置完成后点击应用 就可以在设置的文件夹下看到有日志生成了 IIS还会自动加一个子目录 你IIS下有多少个网站这里就会生成多少个子目录 编号就是前面说的ID

到这里IIS的设置就完成了

二,使用.Net读取IIS日志文件保存数据库并删除已读取文件

这里直接上代码

    public void IISLogImport()
            {
                SqlConnection conn = new SqlConnection("Data Source=xxx,1433;Initial Catalog=xxx;User ID=xxx;Password=xxx;MultipleActiveResultSets=true;");
                conn.Open();
                DirectoryInfo directoryZCAFFT = new DirectoryInfo("D:\\File\\log_IIS");//文件地址
                FileInfo[] arrZCAFFT = directoryZCAFFT.GetFiles("*.log");//筛选一下日志文件
                if (arrZCAFFT.Length == 0) return;
                foreach (FileInfo file in arrZCAFFT)
                {
                    if (file.Name.IndexOf(DateTime.Now.ToString("yyMMddHH")) != -1) continue;//如果是当前时间的文件则不进行读取操作
                    //整理好的数据
                    DataTable newDataT = new DataTable();
                    newDataT.Columns.AddRange(new DataColumn[] {
                            new DataColumn("ID",typeof(int)),
                            new DataColumn("DateTime",typeof(DateTime)),
                            new DataColumn("URIStem",typeof(string)),
                            new DataColumn("BytesSent",typeof(Int64)),
                            new DataColumn("BytesReceived",typeof(Int64)),
                            new DataColumn("TimeTaken",typeof(Int64))});
                    //打开txt文件 按行读取数据
                    StreamReader sr = new StreamReader(file.FullName, Encoding.UTF8);
                    try
                    {
                        string line = string.Empty;
                        while ((line = sr.ReadLine()) != null)
                        {
                            if (line[0] != '#')//#开头的都是描述去掉
                            {
                                string[] contents = line.Split(' ');//日志内容的分隔符都是空格
                                //这里是需要刨掉的请求文件
                                string[] indexs = new string[] { ".txt", ".xml", ".Js", ".asp", ".htm", ".xslt", ".swf", ".cgi", ".html", ".ico", ".gif", ".png", ".js", ".css", "/files/" };
                                
                                string[] vals = (from val in indexs where contents[2].IndexOf(val) != -1 select val).ToArray();
                                //需要刨掉的某些接口
                                string[] indexs2 = new string[] { "/xxx.asmx", "/api/xxx.asmx", "/xxx.asmx/xxx" };
     
                                string[] vals2 = (from val in indexs2 where contents[2] == val select val).ToArray();
                                //符合条件的添加到dataTable
                                if (vals.Length == 0 && vals2.Length == 0)
                                {
                                    DataRow row = newDataT.NewRow();
                                    row["DateTime"] = Convert.ToDateTime(contents[0] + " " + contents[1]).AddHours(8);//格林威治时间转本地时间
                                    row["URIStem"] = contents[2];
                                    row["BytesSent"] = Convert.ToInt64(contents[3]);
                                    row["BytesReceived"] = Convert.ToInt64(contents[4]);
                                    row["TimeTaken"] = Convert.ToInt64(contents[5]);
                                    newDataT.Rows.Add(row);
                                }
                            }
                        }
                        //批量导入数据库 这种方式速度比较快
                        SqlBulkCopy bulkCopy = new SqlBulkCopy(conn);
                        bulkCopy.DestinationTableName = "xxx";
                        bulkCopy.BatchSize = newDataT.Rows.Count;
     
                        if (newDataT != null && newDataT.Rows.Count != 0)
                        {
                            bulkCopy.WriteToServer(newDataT);
                        }
     
                    }
                    catch (Exception e)
                    {
                        GeSmartLog.WriteLog("IISLogImport ERROR:" + e.Message + " FileName:" + file.Name);
                    }
                    //将读取完的数据删除文件
                    sr.Close();
                    file.Delete();
                }
                //删除7天以前的日志
                common.ExeSQL2("delete dbo.xxx where DATEADD(DAY,7,[DateTime])<GETDATE()", conn);
                conn.Close();
            }

到这里接口的访问量,吞吐量和响应时间都已经可以统计出来了。这个方法需要在定时器中调用,这样日志文件的维护也基本上不用管了 。

其实在IIS中设置好后,log文件一生成,接口的监控基本上就完成了。因为日志文件就在那里 用C#也好 Python也好 都只是一个数据处理和展示的工作了

Windows全家桶真香 ,如有不对之处还请各路大神指点指点。