当您使用Logtail采集容器(标准容器、Kubernetes)的日志时,如果采集状态异常,可以根据本文进行排查问题、检查运行状态等运维操作。
排查异常
其他运维操作
排查机器组心跳异常
您可以通过检查机器组心跳状态的方式判断容器上的Logtail是否已正确安装。
排查容器日志采集异常
如果您在控制台的预览或查询页面未查看到日志数据,说明日志服务并未采集到您的容器日志数据。请确认容器状态后,执行以下检查。
登录Logtail容器
- 普通Docker
- 在宿主机执行
docker ps | grep logtail
搜索Logtail容器。 - 执行
docker exec -it ****** bash
登录。
$docker ps | grep logtail 223fbd3ed2a6e registry.cn-hangzhou.aliyuncs.com/log-service/logtail "/usr/local/ilogta..." 8 days ago Up 8 days logtail-iba $docker exec -it 223fbd3ed2a6e bash
- 在宿主机执行
- Kubernetes
- 执行
kubectl get po -n kube-system | grep logtail
搜索Logtail的Pod。 - 执行
kubectl exec -it -n kube-system ****** bash
登录Pod。
$kubectl get po -n kube-system | grep logtail logtail-ds-g5wgd 1/1 Running 0 8d logtail-ds-slpn8 1/1 Running 0 8d $kubectl exec -it -n kube-system logtail-ds-g5wgd bash
- 执行
查看Logtail的运行日志
Logtail日志存储在Logtail容器中的/usr/local/ilogtail/目录中,文件名为ilogtail.LOG和logtail_plugin.LOG。
Logtail的容器标准输出(stdout)
start umount useless mount points, /shm$|/merged$|/mqueue$
umount: /logtail_host/var/lib/docker/overlay2/3fd0043af174cb0273c3c7869500fbe2bdb95d13b1e110172ef57fe840c82155/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/d5b10aa19399992755de1f85d25009528daa749c1bf8c16edff44beab6e69718/merged: must be superuser to unmount
umount: /logtail_host/var/lib/docker/overlay2/5c3125daddacedec29df72ad0c52fac800cd56c6e880dc4e8a640b1e16c22dbe/merged: must be superuser to unmount
......
xargs: umount: exited with status 255; aborting
umount done
start logtail
ilogtail is running
logtail status:
ilogtail is running
查看Kubernetes集群中日志相关组件状态
执行命令helm status alibaba-log-controller
可以查看Kubernetes集群中日志相关组件状态。
查看Logtail的版本号信息、IP地址、启动时间
kubectl exec logtail-ds-gb92k -n kube-system cat /usr/local/ilogtail/app_info.json
{
"UUID" : "",
"hostname" : "logtail-gb92k",
"instance_id" : "0EBB2B0E-0A3B-11E8-B0CE-0A58AC140402_172.20.4.2_1517810940",
"ip" : "172.20.4.2",
"logtail_version" : "0.16.2",
"os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
"update_time" : "2018-02-05 06:09:01"
}
误删CRD创建出的Logstore后,应如何处理
- 在CRD配置中使用其他Logstore,避免使用手动误删的Logstore名。
- 重新启动POD alibaba-log-controller。该POD可通过命令
kubectl get po -n kube-system | grep alibaba-log-controller
查找。