12:Logstash｜Web日志实时分析

Logstash｜Web日志实时分析

• logstash
• • logstash工作结构
  • 安装Logstash
  • 编写logstash配置文件
  • • 步骤一：codec类插件
    • 插件帮助手册
  • Logstash input插件
  • • 步骤一：file模块插件
    • filter grok插件
• Web日志实时分析
• • 部署beats与filebeat
  • • 步骤一：filter grok模块插件

logstash

一个���据采集、加工处理以及传输的工具
特点：

• 所有类型的数据集中处理
• 不同模式和格式数据的正常化
• 自定义日志格式的迅速扩展
• 为自定义数据源轻松添加插件

logstash工作结构

• input 负责收集数据
• filter 负责数据处理
• output 负责输出数据

安装Logstash

最低配置： 2cpu，2G内存，10G硬盘
虚拟机IP： 192.168.1.47 logstash
1.配置主机名，ip和yum源，配置/etc/hosts

[root@logstash ~]# vim /etc/hosts192.168.1.41    es-0001192.168.1.42    es-0002192.168.1.43    es-0003192.168.1.44    es-0004192.168.1.45    es-0005192.168.1.46    kibana192.168.1.47    logstash

2.安装java-1.8.0-openjdk和logstash

[root@logstash ~]# yum -y install java-1.8.0-openjdk logstash[root@logstash ~]# java -versionopenjdk version "1.8.0_161"OpenJDK Runtime Environment (build 1.8.0_161-b14)OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)[root@logstash ~]# ln -s /etc/logstash /usr/share/logstash/config # 基础配置样例[root@logstash ~]# vim /etc/logstash/conf.d/my.confinput {      stdin {   } # 手工录入 标准输入}filter{    }output{      stdout{   } # 标准输出}[root@logstash ~]# /usr/share/logstash/bin/logstash

编写logstash配置文件

标准输入采用 json 编码格式
标准输出采用 rubydebug 编码格式
启动 logstash 验证

步骤一：codec类插件

1）codec类插件

[root@logstash ~]# vim /etc/logstash/conf.d/my.confinput {      stdin {    codec => "json" }}filter{    }output{      stdout{    codec => "rubydebug" }}[root@logstash ~]# /usr/share/logstash/bin/logstashSettings: Default pipeline workers: 2Pipeline main starteda{          "message" => "a",           "tags" => [