基于logstash实现日志文件同步elasticsearch


Posted in Python onAugust 06, 2020

引言:

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的:

将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。

基于logstash实现日志文件同步elasticsearch

2、源文件:

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本:

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
 echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
 echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
 icnt=$((icnt+1));
done

4、logstash配置文件:

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
 file {
 path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
 #codec=>multiline {
 # pattern => "^\s"
 # what=>"previous"
 #}
 type=>"probe_log" #类型名称
 # tags=>["XX.XX.XX.XX"]
 }
}

###过滤
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}

###output to es
output {
 elasticsearch {
 hosts => "10.8.5.101:9200"
 index => "mprobe_index"   #索引名称
 #template_name => "mprobelog"
 #document_id => "%{id}"
 }
 stdout { codec => json_lines }
}

5、同步测试:

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

(1)日志记录:

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

(2)ES记录

基于logstash实现日志文件同步elasticsearch

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
推荐11个实用Python库
Jan 23 Python
浅谈Python中的数据类型
May 05 Python
python实现字符串连接的三种方法及其效率、适用场景详解
Jan 13 Python
python爬取淘宝商品详情页数据
Feb 23 Python
numpy中实现ndarray数组返回符合特定条件的索引方法
Apr 17 Python
对Python 文件夹遍历和文件查找的实例讲解
Apr 26 Python
Django发送邮件和itsdangerous模块的配合使用解析
Aug 10 Python
Python使用scrapy爬取阳光热线问政平台过程解析
Aug 14 Python
在 Jupyter 中重新导入特定的 Python 文件(场景分析)
Oct 27 Python
wxPython实现绘图小例子
Nov 19 Python
Python实现常见的几种加密算法(MD5,SHA-1,HMAC,DES/AES,RSA和ECC)
May 09 Python
Python 如何安装Selenium
May 06 Python
如何解决pycharm调试报错的问题
Aug 06 #Python
Python用来做Web开发的优势有哪些
Aug 05 #Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 #Python
python爬虫使用requests发送post请求示例详解
Aug 05 #Python
8种常用的Python工具
Aug 05 #Python
浅析Python 序列化与反序列化
Aug 05 #Python
Python创建临时文件和文件夹
Aug 05 #Python
You might like
php使用PDO操作MySQL数据库实例
2014/12/30 PHP
php中mysql连接方式PDO使用详解
2015/02/25 PHP
php判断输入是否是纯数字,英文,汉字的方法
2015/03/05 PHP
Yii框架实现图片上传的方法详解
2017/05/20 PHP
设定php简写功能的方法
2019/11/28 PHP
用XMLDOM和ADODB.Stream实现base64编码解码实现代码
2010/11/28 Javascript
Javascript 加载和执行-性能提高篇
2012/12/28 Javascript
A标签触发onclick事件而不跳转的多种解决方法
2013/06/27 Javascript
用js读、写、删除Cookie代码分享及详细注释说明
2014/06/05 Javascript
利用a标签自动解析URL分析网址实例
2014/10/20 Javascript
JS实现向表格行添加新单元格的方法
2015/03/30 Javascript
浅谈JavaScript中setInterval和setTimeout的使用问题
2015/08/01 Javascript
JavaScript的jQuery库中function的存在和参数问题
2015/08/13 Javascript
有关Promises异步问题详解
2015/11/13 Javascript
jquery实现表格中点击相应行变色功能效果【实例代码】
2016/05/09 Javascript
深入理解jQuery 事件处理
2016/06/14 Javascript
web前端开发upload上传头像js示例代码
2016/10/22 Javascript
在antd中setFieldsValue和defaultVal的用法
2020/10/29 Javascript
python获取豆瓣电影简介代码分享
2014/01/16 Python
Python导入txt数据到mysql的方法
2015/04/08 Python
Python 判断 有向图 是否有环的实例讲解
2018/02/01 Python
python线程池threadpool使用篇
2018/04/27 Python
实例讲解python中的协程
2018/10/08 Python
pytorch 模型的train模式与eval模式实例
2020/02/20 Python
css3动画效果小结(推荐)
2016/07/25 HTML / CSS
Cotton On香港网站:澳洲时装连锁品牌
2018/11/01 全球购物
2019年Java面试必问之经典试题
2012/09/12 面试题
linux面试题参考答案(11)
2012/05/01 面试题
AJAX的优缺点都有什么
2015/08/18 面试题
党性心得体会
2014/09/03 职场文书
2014物价局民主生活会对照检查材料思想汇报
2014/09/24 职场文书
统计员岗位职责范本
2015/04/14 职场文书
上下班时间调整通知
2015/04/23 职场文书
新闻稿怎么写
2015/07/18 职场文书
关于JavaScript回调函数的深入理解
2021/06/27 Javascript
python使用shell脚本创建kafka连接器
2022/04/29 Python