当前位置：主页 > 查看内容

容器服务 通过 Exit Code 定位 Pod 异常退出原因 - 故障处理

发布时间：2021-09-17 00:00| 有 位朋友查看

简介：本文介绍如何根据 Pod 异常状态信息中的 Exit Code 进一步定位问题。 查看 Pod 异常状态信息 执行以下命令，查看异常 Pod 状态信息。 kubectl describe pod pod name 返回结果如下： Containers: kubedns: Container ID: docker://5fb8adf9ee62afc6d3f6f3d95……

本文介绍如何根据 Pod 异常状态信息中的 Exit Code 进一步定位问题。

查看 Pod 异常状态信息

执行以下命令，查看异常 Pod 状态信息。

kubectl describe pod <pod name>

返回结果如下：

Containers:
  kubedns:
    Container ID:  docker://5fb8adf9ee62afc6d3f6f3d9590041818750b392dff015d7091eaaf99cf1c945
    Image:         ccr.ccs.tencentyun.com/library/kubedns-amd64:1.14.4
    Image ID:      docker-pullable://ccr.ccs.tencentyun.com/library/kubedns-amd64@sha256:40790881bbe9ef4ae4ff7fe8b892498eecb7fe6dcc22661402f271e03f7de344
    Ports:         10053/UDP, 10053/TCP, 10055/TCP
    Host Ports:    0/UDP, 0/TCP, 0/TCP
    Args:
      --domain=cluster.local.
      --dns-port=10053
      --config-dir=/kube-dns-config
      --v=2
    State:          Running
      Started:      Tue, 27 Aug 2019 10:58:49 +0800
    Last State:     Terminated
      Reason:       Error
      Exit Code:    255
      Started:      Tue, 27 Aug 2019 10:40:42 +0800
      Finished:     Tue, 27 Aug 2019 10:58:27 +0800
    Ready:          True
    Restart Count:  1

在返回结果的容器列表 Last State 字段中， Exit Code 为程序上次退出时的状态码，该值不为0即表示程序异常退出，可根据退出状态码进一步分析异常原因。

退出状态码说明

  • 状态码需在0 - 255之间。
  • 0表示正常退出。
  • 若因外界中断导致程序退出，则状态码区间为129 - 255。例如，操作系统给程序发送中断信号 kill -9 或 ctrl+c，导致程序状态变为 SIGKILL 或 SIGINT。
  • 通常因程序自身原因导致的异常退出，状态码区间在1 - 128。在某些场景下，也允许程序设置使用129 - 255区间的状态码。
  • 若指定的退出状态码不在0 - 255之间（例如，设置 exit(-1)），此时将会自动执行转换，最终呈现的状态码仍会在0 - 255之间。
    若将退出时状态码记为 code，则不同情况下转换方式如下：
    • 当指定的退出时状态码为负数，转换公式为：
      256 - (|code| % 256)
    • 当指定的退出时状态码为正数，转换公式为：
      code % 256

常见异常状态码

  • 137：表示程序被 SIGKILL 中断信号杀死。异常原因可能为：
    • 通常是由于 Pod 中容器内存达到了其资源限制（resources.limits）。例如，内存溢出（OOM）。由于资源限制是通过 Linux 的 cgroup 实现的，当某个容器内存达到资源限制， cgroup 就会将其强制停止（类似于 kill -9），此时通过 describe pod 可以看到 Reason 是 OOMKilled。
    • 宿主机本身资源不够用（OOM），则内核会选择停止一些进程来释放内存。
      说明：

      无论是 cgroup 限制，还是因为节点机器本身资源不够导致的进程停止，都可以从系统日志中找到记录。方法如下：
      Ubuntu 系统日志存储在目录 /var/log/syslog，CentOS 系统日志存储在目录 /var/log/messages 中，两者系统日志均可通过 journalctl -k 命令进行查看。

    • livenessProbe（存活检查）失败，使得 kubelet 停止 Pod。
    • 被恶意木马进程停止。
  • 1和255：通常表示一般错误，具体原因需要通过容器日志进一步定位。例如，可能是设置异常退出使用 exit(1) 或 exit(-1)导致的，而-1将会根据规则转换成255。

Linux 标准中断信号

Linux 程序被外界中断时会发送中断信号，程序退出时的状态码为中断信号值加128。例如， SIGKILL 的中断信号值为9，那么程序退出状态码则为9 + 128 = 137。更多标准信号值参考如下表：

信号 Signal 状态码 Value 动作 Action 描述 Comment
SIGHUP 1 Term Hangup detected on controlling terminal or death of controlling process
SIGINT 2 Term Interrupt from keyboard
SIGQUIT 3 Core Quit from keyboard
SIGILL 4 Core Illegal Instruction
SIGABRT 6 Core Abort signal from abort(3)
SIGFPE 8 Core Floating-point exception
SIGKILL 9 Term Kill signal
SIGSEGV 11 Core Invalid memory reference
SIGPIPE 13 Term Broken pipe: write to pipe with no readers; see pipe(7)
SIGALRM 14 Term Timer signal from alarm(2)
SIGTERM 15 Term Termination signal
SIGUSR1 30,10,16 Term User-defined signal 1
SIGUSR2 31,12,17 Term User-defined signal 2
SIGCHLD 20,17,18 Ign Child stopped or terminated
SIGCONT 19,18,25 Cont Continue if stopped
SIGSTOP 17,19,23 Stop Stop process
SIGTSTP 18,20,24 Stop Stop typed at terminal
SIGTTIN 21,21,26 Stop Terminal input for background process
SIGTTOU 22,22,27 Stop Terminal output for background process

C/C++ 退出状态码

/usr/include/sysexits.h 中进行了退出状态码标准化（仅限 C/C++），如下表：

定义 状态码 描述
#define EX_OK 0 successful termination
#define EX__BASE 64 base value for error messages
#define EX_USAGE 64 command line usage error
#define EX_DATAERR 65 data format error
#define EX_NOINPUT 66 cannot open input
#define EX_NOUSER 67 addressee unknown
#define EX_NOHOST 68 host name unknown
#define EX_UNAVAILABLE 69 service unavailable
#define EX_SOFTWARE 70 internal software error
#define EX_OSERR 71 system error (e.g., can't fork)
#define EX_OSFILE 72 critical OS file missing
#define EX_CANTCREAT 73 can't create (user) output file
#define EX_IOERR 74 input/output error
#define EX_TEMPFAIL 75 temp failure; user is invited to retry
#define EX_PROTOCOL 76 remote error in protocol
#define EX_NOPERM 77 permission denied
#define EX_CONFIG 78 configuration error
#define EX__MAX 78 78 maximum listed value

状态码参考

更多状态码含义可参考以下表格：

状态码 含义 示例 描述
1 Catchall for general errors let "var1 = 1/0" Miscellaneous errors, such as "divide by zero" and other impermissible operations
2 Misuse of shell builtins (according to Bash documentation) empty_function() {} Missing keyword or command
126 Command invoked cannot execute /dev/null Permission problem or command is not an executable
127 "command not found" illegal_command Possible problem with $PATH or a typo
128 Invalid argument to exit exit 3.14159 exit takes only integer args in therange0 - 255 (seefirst footnote)
128+n Fatal error signal "n" kill -9 $PPID of script $? returns137 (128 + 9)
130 Script terminated by Control-C Ctl-C Control-C is fatal error signal 2, (130 = 128 + 2, see above)
255* Exit status out of range exit -1 exit takes only integer args in the range0 - 255

本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！
上一篇：API概览_虚拟私有云 VPC_API参考 下一篇：没有了

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐