ELK
就直接上图吧：
目前公司日志系统还属于初期，框架就没做群集，但是预想是es与logstash会在双11过后做成群集，最近很久没出文章，所以先把ELK流程走完，免得后面又不找不到笔记了
filebeat配置文件预览：
前期计划的是会对配置文件有很多改动，所以设置了动态更新，
另外其中我们将日志格式与索引名进行匹配，indexname=索引名，这样我们在logstash中就直接解析。如下图：
其他的就是一些常规设置
winlogbeat配置文件预览：
winlogbeat配置文件没怎么变化，就加了个标签
logstash配置文件预览：
日志解析中，将主要的生产日志，indexname解析出来，作为索引名，另外是在日志丢弃这方面，现在是在logstash环节进行，感觉不怎么合理，想的是开发在程序上优化，比如debug级别调高，然后少打无用日志，然后我们将日志过滤放在filebeat上，其他的配置都是常规配置，根据tags进行区分处理
优化根据官方建议：
索引模板设置：
1个主分块
目前的日志量是每分钟有23万条，
维护相关：
进程监控用自己写的shell脚本，接入钉钉
索引删除
#!/bin/bash
Carpa_LAST_DATA=`date -d "7 days ago" +%Y.%m.%d`
curl -XDELETE http://10.153.207.74:9200/*-$*
索引备份（elasticdump）
自己写个脚本每周一进行一次备份，只要是备份.kabana，下图是恢复过程：
题外话题：
之前一位运维人员不经意删除了所有机器上fielbeat的registry文件，我们日志文件是500M进行新建，然后filebeat都从最开始点读取，导致直接cpu到负载飙升，
最后差点就换机器升级了，然后通过批量powershell命令，更改重新命名所有正在读取的日志文件，以最新的为准，才慢慢追上来
用到的网址：
http://grokdebug.herokuapp.com/
https://discuss.elastic.co/
https://elasticsearch.cn/
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20181101G0GZA200?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
