前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >腾讯云 Elasticsearch 进阶篇(二十九)Logstash讲解与实战

腾讯云 Elasticsearch 进阶篇(二十九)Logstash讲解与实战

原创
作者头像
南非骆驼说大数据
修改2020-03-14 00:33:53
8650
修改2020-03-14 00:33:53
举报

一、Logstash输出插件(output)

output是Logstash的最后阶段,一个事件可以经过多个输出,而一旦所有输出处理完成,整个事件就执行完成。 一些常用的输出包括:

file: 表示将日志数据写入磁盘上的文件。

elasticsearch:表示将日志数据发送给Elasticsearch。Elasticsearch可以高效方便和易于查询的保存数据。

graphite:表示将日志数据发送给graphite,graphite是一种流行的开源工具,用于存储和绘制数据指标。

此外,Logstash还支持输出到nagios、hdfs、email(发送邮件)和Exec(调用命令执行)。

1、输出到标准输出(stdout)

stdout与之前介绍过的stdin插件一样,它是最基础和简单的输出插件,下面是一个配置实例:

output {

stdout {

codec => rubydebug---------》调试、测试使用

}

}

stdout插件,主要的功能和用途就是用于调试,这个插件,在前面已经多次使用过。这里不再过多介绍。

2、保存为文件(file)

file插件可以将输出保存到一个文件中,配置实例如下:

output {

file {

path => "/data/log3/%{+yyyy-MM-dd}/%{host}_%{+HH}.log"

}

上面这个配置中,使用了变量匹配,用于自动匹配时间和主机名,这在实际使用中很有帮助。我们看一下下面得配置文件截图:

Output配置文件解析
Output配置文件解析

1,input{} 标准输入,也就是从键盘输入

2,output{} file:表示输出一个到一个文件; path:表示文件的路径,需要手动创建目录,后面得目录会自动创建。

3,codec 对输出得文件内容进行编码,保证输入得内容与输出得内容保持一致,进而对数据进行分析。

好,接下来,我们启动服务。看下图:bin/logstash -f config/logstash8.conf

启动服务
启动服务

那么我们验证一下:/data/log下是否有我们得输入文本并记录日志呢?

输出日志内容
输出日志内容

验证成功。其实这个过程就可以称为对系统日志的实时备份。

3,输出到elasticsearch(*****)

Logstash将过滤、分析好的数据输出到elasticsearch中进行存储和查询,是最经常使用的方法。下面是一个配置实例

output---》到ES的配置路径如下:

output {

elasticsearch {

host => ["http://vip:9200"]

index => "logstash-%{+YYYY.MM.dd}" ---------------->以时间为序列进行索引的生成。每天一个索引。

user => "elastic"

password => "XXXX"

}

}

上面配置中每个配置项含义如下:

l host:是一个数组类型的值,后面跟的值是elasticsearch节点的地址与端口,默认端口是9200。可添加多个地址。

l index:写入elasticsearch的索引的名称,这里可以使用变量。Logstash提供了%{+YYYY.MM.dd}这种写法。在语法解析的时候,看到以+ 号开头的,就会自动认为后面是时间格式,尝试用时间格式来解析后续字符串。这种以天为单位分割的写法,可以很容易的删除老的数据或者搜索指定时间范围内的数据。此外,注意索引名中不能有大写字母。

二、总结

那么至此,Logstash入门篇的三大插件,已经全部讲解完毕。想必通过前面的这些知识的了解学习,对于ELK有了更进一步的了解。好好复习一下吧,下面,我们再来讲一下filebeat的一些知识。

此外,别忘了,ELK 官网,你值得拥有!!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、Logstash输出插件(output)
    • 1、输出到标准输出(stdout)
      • 2、保存为文件(file)
        • 3,输出到elasticsearch(*****)
        • 二、总结
        相关产品与服务
        Elasticsearch Service
        腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
        http://www.vxiaotou.com