【SRE该掌握的利器】Linux中的strace：深入进程的系统调用

五分钟学SRE

发布于 2024-04-23 12:25:38

9120

在Linux系统中，进程与硬件的交互并非直接进行，而是通过系统调用来实现。strace是一个强大的工具，它可以追踪进程执行时的系统调用以及接收到的信号，这对于诊断和调试程序非常有用。

strace简介与原理

strace用于跟踪程序执行时的系统调用和信号。在Linux中，用户态的进程需要通过系统调用来请求内核态的服务，比如文件操作、网络通信等。strace能够捕获这些调用的详细信息，包括调用的名称、参数和返回值，以及执行这些调用所消耗的时间。

简说系统调用与信号

系统调用

系统调用（System Call）是用户空间程序与操作系统内核空间交互的接口。由于安全和效率的考虑，用户空间的程序不能直接访问内核空间的资源，而是通过系统调用来请求内核提供服务。系统调用的类型非常多，涵盖了文件操作、进程控制、网络通信、信号处理等多个方面。

系统调用的实现原理

用户态到内核态的切换：当用户程序需要执行系统调用时，会从用户态切换到内核态。这种切换通常通过中断或异常机制实现。
系统调用表：Linux内核维护一个系统调用表，包含了所有可用系统调用的入口点。当系统调用发生时，会根据调用号找到对应的内核函数执行。
参数传递：系统调用的参数通过CPU的寄存器或栈传递给内核。
执行系统调用：内核函数会执行实际的操作，如读写文件、创建进程等。
返回用户态：系统调用完成后，会将结果返回给用户程序，并从内核态切换回用户态。

系统调用的例子

open()：打开一个文件。
read()：从文件中读取数据。
write()：向文件中写入数据。
fork()：复制一个进程。

信号

信号（Signal）是一种软件中断，用于通知进程发生了某些事件。信号可以在用户空间和内核空间之间传递信息，是进程间通信（IPC）的一种简单形式。

信号的实现原理

信号产生：当特定事件发生时（如用户按下Ctrl+C），内核会生成一个信号。
信号传递：内核将信号发送给目标进程。
信号处理：进程可以定义信号处理函数来响应信号，执行特定的操作，如忽略信号、终止进程或执行自定义的清理代码。
信号屏蔽：进程可以屏蔽（暂时忽略）某些信号，以避免在关键时刻被打扰。

信号的例子

SIGINT：由用户发送的中断信号，通常用于终止前台进程。
SIGKILL：立即终止进程，不能被忽略或捕获。
SIGTERM：终止信号，可以被进程捕获并执行清理工作。

系统调用与信号的关联

系统调用和信号都是进程与内核交互的机制，但它们有不同的用途：

系统调用更多用于进程需要内核提供服务的场景，如资源管理、硬件访问等。
信号则用于进程间的通知和简单通信，以及处理某些紧急情况。

安装与基本使用

在大多数Linux发行版中，strace可以通过包管理器轻松安装。例如，在基于Debian的系统（如Ubuntu）中，可以使用以下命令安装：

sudo apt-get install strace

基本使用如下：

strace <command>

这将输出<command>执行过程中的所有系统调用。

strace的输出解析

strace的输出每一行都代表一个系统调用，包括系统调用名、参数、返回值和错误码，格式通常为：

<syscall>(<arguments...>) = <return value>

<syscall>是系统调用的名称。
<arguments...>是传递给系统调用的参数列表。
<return value>是系统调用的返回值，成功时通常为0，错误时为-1，并且会设置全局变量errno。

示例：

open("/etc/passwd", O_RDONLY)          = 3
read(3, "root:x:0:0:root:/root:/bin/bash\nbin:x:1:1::/"..., 8192) = 8192
close(3)                          = 0

open() 函数尝试打开文件，read() 从文件读取数据，而 close() 则关闭文件描述符。

strace的常用参数

strace提供了多种参数来定制跟踪的行为：

-c：统计每一系统调用的执行时间、次数和出错次数。
-T：显示每个系统调用所耗费的时间。
-e trace=set：只跟踪指定的系统调用集，如-e trace=open,close。
-f：跟踪由fork()产生的子进程。
-o <file>：将输出重定向到文件。
-p <pid>：跟踪指定的进程ID。

跟踪特定进程

如果要跟踪一个已经运行的进程，可以使用-p参数指定进程ID：

strace -p <pid>

定位进程异常退出

通过跟踪进程的系统调用，可以观察到进程在异常退出前的最后行为：

strace -p <pid> -o output.txt

定位共享内存异常

共享内存操作相关的系统调用如shmget、shmat、shmctl等可以通过strace跟踪来排查问题：

strace -e trace=ipc <command>

网络相关调用排查

当涉及到网络问题时，可以专门跟踪网络相关的系统调用：

strace -e trace=network <command>

信号传递跟踪

可以跟踪程序接收到的信号：

strace -e signal=all <command>

系统调用统计

使用-c参数可以对系统调用进行统计分析：

strace -c <command> > output.txt

具体案例分析

Web服务器无法正常加载页面。使用 strace 可能发现如下错误：

socket(AF_INET, SOCK_STREAM, IPPROTO_TCP) = 3
connect(3, {sa_family=AF_INET, sin_port=htons(80), sin_addr=inet_addr("127.0.0.1")}, 16) = -1 EINPROGRESS (Operation now in progress)

这表明连接尚未完成，可能是网络延迟或配置错误导致的。

1. 创建套接字（socket）

socket(AF_INET, SOCK_STREAM, IPPROTO_TCP) = 3

AF_INET：指定使用IPv4地址族。
SOCK_STREAM：指定使用面向连接的、可靠的流套接字，这是TCP协议的典型特性。
IPPROTO_TCP：明确指定使用TCP作为传输层协议。
= 3：表示调用成功，并且返回了一个文件描述符（FD）为3的套接字。文件描述符是操作系统用来识别打开的文件、套接字和其他输入/输出资源的整数。

2. 尝试连接（connect）

connect(3, {sa_family=AF_INET, sin_port=htons(80), sin_addr=inet_addr("127.0.0.1")}, 16) = -1 EINPROGRESS (Operation now in progress)

3：这是之前创建的套接字的文件描述符。
sa_family=AF_INET：指定了地址族为IPv4。
sin_port=htons(80)：指定了目标端口号为80，htons函数将主机字节序的端口号转换成网络字节序。
sin_addr=inet_addr("127.0.0.1")：指定了目标IP地址为本地回环地址，即127.0.0.1，通常用于测试或连接本机的服务。
16：这是指向sockaddr_in结构的指针的字节长度。

connect调用的结果表明：

= -1：表示系统调用返回了一个错误。
EINPROGRESS：是一个特殊的错误码，表示连接操作已经开始，但目前尚未完成。这通常发生在非阻塞套接字上，或者在套接字被设置为非阻塞模式时。

非阻塞套接字和EINPROGRESS

当一个套接字被设置为非阻塞模式时，connect调用不会使调用它的进程挂起，而是会立即返回。如果连接正在进行中，connect调用会返回EINPROGRESS错误。这是正常的网络操作行为，特别是在需要同时处理多个连接或执行其他任务时。

处理EINPROGRESS

要正确处理EINPROGRESS，程序可以：

使用select或poll系统调用来监视套接字的状态，确定何时连接已经建立或连接尝试失败。
使用getsockopt与SO_ERROR选项来查询套接字的错误状态，以确定连接是否成功或失败。
实现更复杂的异步逻辑，如使用epoll或事件驱动的网络库。

注意事项与提示

使用strace时可能会对系统性能产生一定影响，特别是在生产环境中。在生产环境的高流量Apache或Nginx服务器中，要诊断一个性能问题，使用strace来跟踪一个长时间运行的进程。由于strace需要捕获所有的系统调用和信号，这个过程可能会占用大量的CPU资源，从而影响到服务器的性能。在这种情况下，可能会发现服务器的响应时间变慢，处理请求的速度下降。
某些程序可能包含检测strace的机制，可能会改变行为或退出。
使用-o参数将输出重定向到文件是一个好的习惯，这样可以避免输出过多导致屏幕滚动过快。

strace是一个功能强大的工具，可以帮助我们深入理解程序的行为，定位问题。通过合理使用strace的参数，可以有效地减少输出中的噪声，专注于相关的系统调用。然而，也应注意其潜在的性能影响，并在必要时寻找替代的调试手段。