集中化的日志管理
把日志放到node节点的主机目录上，在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死，另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦，就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。 这样可以保证日志不丢，还能有序插入es不会因为业务高峰把es弄死，还可以利用logstash再进行一些日志格式化的需求。 目前用这个方案，把istio的所有envoy访问日志、traefik、应用程序日志收集到es上稳定的很。现在每15分钟大概150万条记录。
流程图
log.JPG
上图包含多种架构，详见下文分解
项目日志
如php项目，每次请求都会记录多条日志，用于监控项目的运行情况
1.最简单的办法是 给你用的框架写一个日志驱动，把日志主动提交到数据收集器,比如 fluentd
常见架构
php项目日志->fluentd->elasticsearch1??
php项目日志->fluentd->kafka->logstash->elasticsearch2??
php.JPG
系统服务日志
如nginx, mysql, php
常见架构
system log->rsyslog->logstash->elasticsearch3??
system log->filebeat->logstash->elasticsearch4??
system log->filebeat->redis->logstash->elasticsearch5??
system log->filebeat->kafka->logstash->elasticsearch6??
# 上图未体现出来的
system log->fluent bit->logstash->elasticsearch
system log->fluent bit->redis->logstash->elasticsearch
system log->fluent bit->kafka->logstash->elasticsearch
#不推荐的，如果你们的流量低，服务器配置还可以，可以这么做
系统服务和logstash/fluentd安装在一台服务器，直接输出到elasticsearch7??
WX202203171614472x.png
相关文章
http://www.cuiwei.net/p/1886813055
https://www.cnblogs.com/tanwentao/p/15749435.html
1?? http://www.cuiwei.net/p/1886813055
3?? http://www.cuiwei.net/p/1827808682
4?? http://www.cuiwei.net/p/1119335331
5??6?? https://github.com/chudaozhe/grafana-dashboard-nginx-logs
本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
日志服务
日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。