基于logstash实现日志文件同步elasticsearch


Posted in Python onAugust 06, 2020

引言:

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的:

将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。

基于logstash实现日志文件同步elasticsearch

2、源文件:

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本:

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
 echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
 echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
 icnt=$((icnt+1));
done

4、logstash配置文件:

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
 file {
 path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
 #codec=>multiline {
 # pattern => "^\s"
 # what=>"previous"
 #}
 type=>"probe_log" #类型名称
 # tags=>["XX.XX.XX.XX"]
 }
}

###过滤
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}

###output to es
output {
 elasticsearch {
 hosts => "10.8.5.101:9200"
 index => "mprobe_index"   #索引名称
 #template_name => "mprobelog"
 #document_id => "%{id}"
 }
 stdout { codec => json_lines }
}

5、同步测试:

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

(1)日志记录:

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

(2)ES记录

基于logstash实现日志文件同步elasticsearch

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python设计模式之观察者模式实例
Apr 26 Python
python下MySQLdb用法实例分析
Jun 08 Python
Python全局变量用法实例分析
Jul 19 Python
ubuntu系统下 python链接mysql数据库的方法
Jan 09 Python
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
Sep 19 Python
Python安装与基本数据类型教程详解
May 29 Python
python输出带颜色字体实例方法
Sep 01 Python
python实现替换word中的关键文字(使用通配符)
Feb 13 Python
Python中的sys.stdout.write实现打印刷新功能
Feb 21 Python
Python调用.net动态库实现过程解析
Jun 05 Python
python处理写入数据代码讲解
Oct 22 Python
细说NumPy数组的四种乘法的使用
Dec 18 Python
如何解决pycharm调试报错的问题
Aug 06 #Python
Python用来做Web开发的优势有哪些
Aug 05 #Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 #Python
python爬虫使用requests发送post请求示例详解
Aug 05 #Python
8种常用的Python工具
Aug 05 #Python
浅析Python 序列化与反序列化
Aug 05 #Python
Python创建临时文件和文件夹
Aug 05 #Python
You might like
php定时计划任务的实现方法详解
2013/06/06 PHP
php输出含有“#”字符串的方法
2017/01/18 PHP
PHP封装curl的调用接口及常用函数详解
2018/05/31 PHP
几个有趣的Javascript Hack
2010/07/24 Javascript
js 判断上传文件大小及格式代码
2013/11/13 Javascript
javascript删除数组元素并且数组长度减小的简单实例
2014/02/14 Javascript
JS的事件绑定深入认识
2014/06/26 Javascript
详解JavaScript中this关键字的用法
2016/05/26 Javascript
Centos7 中 Node.js安装简单方法
2016/11/02 Javascript
JS仿京东移动端手指拨动切换轮播图效果
2020/04/10 Javascript
jQuery自定义图片上传插件实例代码
2017/04/04 jQuery
详解Webpack DLL用法以及功能
2017/07/11 Javascript
jQuery实现动态显示select下拉列表数据的方法
2018/02/05 jQuery
基于vue实现移动端圆形旋钮插件效果
2018/11/28 Javascript
vue-cli2 构建速度优化的实现方法
2019/01/08 Javascript
微信小程序 弹窗输入组件的实现解析
2019/08/12 Javascript
vue动态绘制四分之三圆环图效果
2019/09/03 Javascript
Element-Ui组件 NavMenu 导航菜单的具体使用
2019/10/24 Javascript
Javascript查看大图功能代码实现
2020/05/07 Javascript
[06:38]DOTA2怒掀电竞风暴 2013Chinajoy
2013/07/27 DOTA
[02:19]DOTA选手解说齐贺岁
2018/02/11 DOTA
精确查找PHP WEBSHELL木马的方法(1)
2011/04/12 Python
浅谈DataFrame和SparkSql取值误区
2018/06/09 Python
python定时复制远程文件夹中所有文件
2019/04/30 Python
Python爬虫开发与项目实战
2020/12/16 Python
利用纯css3实现的文字亮光特效的代码演示
2014/11/27 HTML / CSS
美国零售商店:Blue&Cream
2017/04/07 全球购物
伯克斯奥特莱斯:Burkes Outlet
2019/03/30 全球购物
俄罗斯建筑和装饰材料在线商店:Stroilandia
2020/07/25 全球购物
抽象类和接口的区别
2012/09/19 面试题
年会活动策划方案
2014/01/23 职场文书
房地产广告词大全
2014/03/19 职场文书
合作经营协议书范本
2014/09/16 职场文书
玩手机检讨书1000字
2014/10/20 职场文书
教师节获奖感言
2015/07/31 职场文书
SQL SERVER触发器详解
2022/02/24 SQL Server