作者:小傅哥 博客:https://bugstack.cn
?沉淀、分享、成长,让自己和他人都能有所收获!? ?
本文的宗旨在于通过易于上手实操的方式,教会读者完成系统ELK日志采集的对接和使用。那你知道对于一个系统的上线考察,必备的几样东西是什么吗?其实这也是面试中考察求职者,是否真的做过系统开发和上线的必备问题。包括:服务治理(熔断/限流)、监控和日志,如果你做的系统里没有这样几个东西,一种是说明系统是玩具项目,另外一种就是压根没做过或者没关心过。前面的已经写完了,所以今天来给大家写ELK日志。
本文涉及的工程:
Elastic Stack 技术栈,别是 Elasticsearch
、Logstash
、Kibana
组成,简称 ELK 是一套针对日志数据做解决方案的框架。它使您能够聚合来自所有系统和应用程序的日志,分析这些日志,并创建可视化来进行应用程序和基础设施监控、更快的故障排除、安全分析等。
综上,3个组件的组合使用。由 Logstash 将摄取、转换数据并将其发送到 Elasticsearch 为摄取的数据编制索引,并且分析和搜索这些数据。最终 Kibana 会将分析结果可视化。也就是你可以在 Kibana 上实时看到系统的运行日志。
这里小傅哥做了个工程案例,并配有对应的环境安装、日志上报,你只需要跟随接下来的文章说明,即可知道 ELK 如何配置和使用。
version: '3'
# 执行脚本;docker-compose -f docker-compose.yml up -d
# 控制台;GET _cat/indices - 查看 springboot-logstash- 是否存在,上报后存在,则表示接入成功
services:
elasticsearch:
image: elasticsearch:7.17.14
ports:
- '9200:9200'
- '9300:9300'
container_name: elasticsearch
restart: always
environment:
- 'cluster.name=elasticsearch' # 设置集群名称为elasticsearch
- 'discovery.type=single-node' # 以单一节点模式启动
- "cluster.name=docker-cluster" # 设置名称
- 'ES_JAVA_OPTS=-Xms512m -Xmx512m' # 设置使用jvm内存大小
networks:
- elk
logstash:
image: logstash:7.17.14
container_name: logstash
restart: always
volumes:
- /etc/localtime:/etc/localtime
- ./logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
ports:
- '4560:4560'
- '50000:50000/tcp'
- '50000:50000/udp'
- '9600:9600'
environment:
LS_JAVA_OPTS: -Xms1024m -Xmx1024m
TZ: Asia/Shanghai
MONITORING_ENABLED: false
links:
- elasticsearch:es # 可以用es这个域名访问elasticsearch服务
networks:
- elk
depends_on:
- elasticsearch # 依赖elasticsearch启动后在启动logstash
kibana:
image: kibana:7.17.14
container_name: kibana
restart: always
volumes:
- /etc/localtime:/etc/localtime
- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
ports:
- '5601:5601'
links:
- elasticsearch:es #可以用es这个域名访问elasticsearch服务
environment:
- ELASTICSEARCH_URL=http://elasticsearch:9200 #设置访问elasticsearch的地址
- 'elasticsearch.hosts=http://es:9200' #设置访问elasticsearch的地址
- I18N_LOCALE=zh-CN
networks:
- elk
depends_on:
- elasticsearch
networks:
elk:
driver: bridge #网络
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>7.3</version>
</dependency>
这个Jar是为了上报应用日志用的。工程的根目录下引入是定义版本,在 xfg-dev-tech-app 模块下引入是具体的引入。
# logstash部署的服务器IP
logstash:
host: 127.0.0.1
<springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="127.0.0.1"/>
<!--输出到logstash的appender-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!--可以访问的logstash日志收集端口-->
<destination>${LOG_STASH_HOST}:4560</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="info">
<appender-ref ref="LOGSTASH"/>
</root>
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class);
}
/**
* curl http://localhost:8091/api/ratelimiter/login?fingerprint=uljpplllll01009&uId=1000&token=8790
*/
@RequestMapping(value = "login", method = RequestMethod.GET)
public String login(String fingerprint, String uId, String token) {
log.info("模拟登录 login fingerprint:{}", fingerprint);
return "模拟登录:登录成功 " + uId;
}
}
GET _cat/indices
- 通过命令检测日志上报地址:http://0.0.0.0:5601/app/discover
创建索引后,回到 Discover 即可查看监控日志。在这个阶段,你可以访问应用程序接口,查看上报日志信息;http://localhost:8091/api/ratelimiter/login?fingerprint=uljpplllll01009&uId=1000&token=8790