单独监控nginx日志分析再进行可视化图形展示

一、前言

这篇文章介绍的是单独监控nginx日志剖析再进行可视化图形展示，并在用户后端使用nginx来代理kibana的恳求响应，访问权限方面暂时使用HTTP基本认证加密用户登入。（关于elk权限控制，我所了解的还有一种方法－Shield），等之后有时间了去搞下。下边开始正文吧。

默认安装好了E、L、K、3个软件即可。其实了，还有必需的java环境JDK！

开始之前，请容许我插入一张图，来自线上我的测试图:

nginx日志文件其中一行：

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx服务器日志的log_format格式:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

二、配置logstash1、修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:

[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf
input {
    file {
        path => [ "/data/nginx-logs/access.log" ]
        start_position => "beginning"
        ignore_older => 0
    }
}
filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }
    }
    geoip {
      source => "http_x_forwarded_for"
      target => "geoip"
      database => "/etc/logstash/GeoLiteCity.dat"
      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
    }
    mutate {
      convert => [ "[geoip][coordinates]", "float" ]
      convert => [ "response","integer" ]
      convert => [ "bytes","integer" ]
      replace => { "type" => "nginx_access" }
      remove_field => "message"
    }
    date {
      match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
    }
    mutate {
      remove_field => "timestamp"
    }
}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-nginx-access-%{+YYYY.MM.dd}"
    }
    stdout {codec => rubydebug}
}

2、文件内容大致解释input段：file:使用file作为输入源filter段：grok:数据结构化转换工具geoip:该过滤器从geoip中匹配ip数组，显示该ip的地理位置mutate：数据的更改、删除、类型转换date:时间处理，该插件很实用，主要是用你日志文件中风波的风波来对timestamp进行转换，导出老的数据必备！在这儿曾让我困扰了好久哦。别再掉坑了mutate：数据更改output段：elasticsearch：输出到es中3、创建grok表达式

创建logstash配置文件以后，我们还要去构建grok使用的表达式，由于logstash的配置文件里定义的使用转换格式句型，先去logstash的安装目录，默认安装位置：/opt/logstash/下，在该位置创建一个目录patternslinux nginx日志分析，如下所示：

root@log-monitor ~]# mkdir -pv /opt/logstash/patterns

在该目录下创建格式文件，如下内容：

[root@log-monitor ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z.@-+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} "%{IPV4:http_x_forwarded_for}"

linux nginx日志分析_linux日志类型有哪些类型_linux日志解析

注:该格式的最后有一个http_x_forwarded_for，由于我们日志是启用了cdn代理的。日志的第一段都是cdn的，最后一段才是真正顾客的ip。

须要剖析的nginx日志路径不在默认的位置，所以我按照logstash的配置，建个目录先，并将日志文件拷贝进去：

[root@log-monitor ~]# mkdir -pv /data/nginx-logs/
[root@log-monitor ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm  126430102 Sep  9 16:02 access.log

4、配置IP库

之后就是logstash中配置的GeoIP的数据库解析ip了，这儿是用了开源的ip数据源，拿来剖析顾客端的ip归属地。官网在这儿:MAXMIND

先把库下载到本地，如下操作

[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

解压到当前路径，并将它联通到上述我们配置的路径下，其实其它路径也是可以的，不过logstash的配置文件也须要修改，如下：

linux nginx日志分析_linux日志解析_linux日志类型有哪些类型

[root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz
[root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/.

测试下logstash的配置文件，使用它自带的命令去测试，如下：

[root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK

注：-t-f参数次序不能乱linux命令行和shell 脚本编程宝典，格式就是定死的，-f前面要跟配置文件

三、配置Elasticsearch

1、修改es的配置文件

[root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

其它内容都保持默认。主要更改了es的数据储存路径，它默认的路径在根目录下红旗linux安装，因为容量太小，而/data容量大。按照你的实际情况考虑而定。创建数据储存目录：

[root@log-monitor ~]# mkdir -pv /data/elasticsearch

更改该文件的权限

[root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

重启服务

[root@log-monitor ~]# systemctl restart elasticsearch
[root@log-monitor ~]# systemctl restart logstash

检测服务状态

[root@log-monitor ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java
[root@log-monitor ~]# systemctl status logstash

查看logstash日志

[root@log-monitor ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}

查看es里的索引，应当早已在装入数据了，如下

[root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb
yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb

从里面见到数据早已在渐渐的导出了。大约须要一段时间，由于涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理

四、安装nginx配置kibana代理

1、安装nginx

[root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm
[root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y

之后新建一个elk.conf配置文件linux nginx日志分析，内容如下(删掉默认的配置文件：

[root@log-monitor ~]# cat /etc/nginx/conf.d/elk.conf
upstream elk {
    ip_hash;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
    server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
}
server {
    listen 80;
    server_name localhost;
    server_tokens off;
    #close slow conn
    client_body_timeout 5s;
    client_header_timeout 5s;
    location / {
        proxy_pass http://elk/;
        index index.html index.htm;
        #auth
        auth_basic "ELK Private,Don't try GJ!";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }
}

本文原创地址：https://www.linuxprobe.com/ddjknrzfxzjx.html编辑：刘遄，审核员：暂无

单独监控nginx日志分析再进行可视化图形展示

单独监控nginx日志分析再进行可视化图形展示

为您推荐一些与本文相关的文章：