发布:2021/7/13 10:15:26作者:管理员 来源:本站 浏览次数:1068
一,设置IIS日志文件的生成
1.点击网站可以看见本机所有的托管网站且IIS自动分配了ID(这个ID待会要用到)
2.在IIS中打开需要监控端口的主页--》双击打开日志
1 选择日志格式 这里我们选择w3c 就ok 可以点击选择字段 添加自己所需字段 既然是监控 那肯定少不了 请求的接口(URI资源),发送的字节数(sc-bytes),接收的字节数(cs-bytes),响应时间(time-taken)等
2 修改存放的路径,文件夹需要给IIS用户添加修改权限(方便读取完信息后移除或删除文件)
3 这里我们是监控接口的访问量,吞吐量和响应速度,所以只需要记录日志文件就好了
4 计划我这里添加的是每个小时生成一个新的文件 为什么不设置每天嘞 因为我是想监控前几个小时的一个需求 所以要把生成一个文件的频率调高一点 不然你读取和修改这个文件会报错和IIS写日志冲突掉
5 使用本地时间进行文件命名和滚动更新 这里要注意的是IIS生成的日志文件名是使用本地时间 但是文件内的日志生成时间使用的是格林威治时间
6 设置完成后点击应用 就可以在设置的文件夹下看到有日志生成了 IIS还会自动加一个子目录 你IIS下有多少个网站这里就会生成多少个子目录 编号就是前面说的ID
到这里IIS的设置就完成了
二,使用.Net读取IIS日志文件保存数据库并删除已读取文件
这里直接上代码
public void IISLogImport()
{
SqlConnection conn = new SqlConnection("Data Source=xxx,1433;Initial Catalog=xxx;User ID=xxx;Password=xxx;MultipleActiveResultSets=true;");
conn.Open();
DirectoryInfo directoryZCAFFT = new DirectoryInfo("D:\\File\\log_IIS");//文件地址
FileInfo[] arrZCAFFT = directoryZCAFFT.GetFiles("*.log");//筛选一下日志文件
if (arrZCAFFT.Length == 0) return;
foreach (FileInfo file in arrZCAFFT)
{
if (file.Name.IndexOf(DateTime.Now.ToString("yyMMddHH")) != -1) continue;//如果是当前时间的文件则不进行读取操作
//整理好的数据
DataTable newDataT = new DataTable();
newDataT.Columns.AddRange(new DataColumn[] {
new DataColumn("ID",typeof(int)),
new DataColumn("DateTime",typeof(DateTime)),
new DataColumn("URIStem",typeof(string)),
new DataColumn("BytesSent",typeof(Int64)),
new DataColumn("BytesReceived",typeof(Int64)),
new DataColumn("TimeTaken",typeof(Int64))});
//打开txt文件 按行读取数据
StreamReader sr = new StreamReader(file.FullName, Encoding.UTF8);
try
{
string line = string.Empty;
while ((line = sr.ReadLine()) != null)
{
if (line[0] != '#')//#开头的都是描述去掉
{
string[] contents = line.Split(' ');//日志内容的分隔符都是空格
//这里是需要刨掉的请求文件
string[] indexs = new string[] { ".txt", ".xml", ".Js", ".asp", ".htm", ".xslt", ".swf", ".cgi", ".html", ".ico", ".gif", ".png", ".js", ".css", "/files/" };
string[] vals = (from val in indexs where contents[2].IndexOf(val) != -1 select val).ToArray();
//需要刨掉的某些接口
string[] indexs2 = new string[] { "/xxx.asmx", "/api/xxx.asmx", "/xxx.asmx/xxx" };
string[] vals2 = (from val in indexs2 where contents[2] == val select val).ToArray();
//符合条件的添加到dataTable
if (vals.Length == 0 && vals2.Length == 0)
{
DataRow row = newDataT.NewRow();
row["DateTime"] = Convert.ToDateTime(contents[0] + " " + contents[1]).AddHours(8);//格林威治时间转本地时间
row["URIStem"] = contents[2];
row["BytesSent"] = Convert.ToInt64(contents[3]);
row["BytesReceived"] = Convert.ToInt64(contents[4]);
row["TimeTaken"] = Convert.ToInt64(contents[5]);
newDataT.Rows.Add(row);
}
}
}
//批量导入数据库 这种方式速度比较快
SqlBulkCopy bulkCopy = new SqlBulkCopy(conn);
bulkCopy.DestinationTableName = "xxx";
bulkCopy.BatchSize = newDataT.Rows.Count;
if (newDataT != null && newDataT.Rows.Count != 0)
{
bulkCopy.WriteToServer(newDataT);
}
}
catch (Exception e)
{
GeSmartLog.WriteLog("IISLogImport ERROR:" + e.Message + " FileName:" + file.Name);
}
//将读取完的数据删除文件
sr.Close();
file.Delete();
}
//删除7天以前的日志
common.ExeSQL2("delete dbo.xxx where DATEADD(DAY,7,[DateTime])<GETDATE()", conn);
conn.Close();
}
到这里接口的访问量,吞吐量和响应时间都已经可以统计出来了。这个方法需要在定时器中调用,这样日志文件的维护也基本上不用管了 。
其实在IIS中设置好后,log文件一生成,接口的监控基本上就完成了。因为日志文件就在那里 用C#也好 Python也好 都只是一个数据处理和展示的工作了
Windows全家桶真香 ,如有不对之处还请各路大神指点指点。