Python与C程序间管道通信：深入理解文件描述符继承性-Python教程-PHP中文网

Python与C程序间管道通信：深入理解文件描述符继承性

本文旨在解决python父进程通过`os.execl()`启动c子进程时，使用`os.pipe()`进行管道通信出现“bad file descriptor”错误的问题。核心在于python 3.4+中`os.pipe()`创建的文件描述符默认是不可继承的，导致子进程执行`execl`后管道失效。文章将详细阐述问题原因，并提供通过`os.set_inheritable()`显式设置继承性的解决方案，确保跨语言进程间管道通信的顺畅。

跨语言进程通信中的文件描述符挑战

在多进程编程中，管道（Pipe）是一种常用的进程间通信（IPC）机制，允许父子进程或兄弟进程之间交换数据。当涉及到不同编程语言（如Python和C）的进程进行通信时，我们可能会遇到一些特定于语言或操作系统的行为差异。一个常见的场景是，Python父进程创建管道并派生子进程，子进程随后使用execl()系列函数加载并执行一个C程序。在这种情况下，如果文件描述符的继承性处理不当，子进程可能会收到“Bad file descriptor”错误。

问题现象分析：Python与C的差异

考虑一个Python父进程，它使用os.pipe()创建一个管道，然后os.fork()派生一个子进程，并在子进程中通过os.execl()执行一个C程序。这个C程序的目标是向父进程写入数据。

Python父进程代码（存在问题版本）：

import os
import sys

def main():
    r, w = os.pipe()  # 创建管道，r为读端，w为写端
    pid = os.fork()   # 派生子进程

    if pid == 0:  # 子进程
        os.close(r)  # 子进程关闭读端
        print(f'Child process: write fd = {w}', file=sys.stderr)
        name = './c_child'  # 编译后的C程序路径
        # 将写端文件描述符作为参数传递给C程序
        os.execl(name, name, str(w))
        # 如果execl失败，下面的代码才会被执行
        sys.exit(1)
    else:  # 父进程
        os.close(w)  # 父进程关闭写端
        os.waitpid(-1, 0) # 等待子进程结束
        data = os.read(r, 10) # 从管道读数据
        print(f'Parent receive: {data}')
        os.close(r) # 父进程关闭读端

if __name__ == "__main__":
    main()

登录后复制

C子程序代码：

立即学习“Python免费学习笔记（深入）”；

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h> // For write and close

int main(int argc, char *argv[]) {
  if (argc < 2) {
    fprintf(stderr, "Usage: %s <file_descriptor>\n", argv[0]);
    exit(EXIT_FAILURE);
  }
  char buf[] = "Hello from C!";
  // 将字符串参数转换为整数文件描述符
  int fd = (int)strtol(argv[1], NULL, 10);
  fprintf(stderr, "C Child process: received fd = %d\n", fd);

  ssize_t count = write(fd, buf, sizeof(buf)); // 向管道写入数据
  if (count == -1) {
    perror("write error"); // 打印错误信息
    exit(EXIT_FAILURE);
  } else {
    fprintf(stderr, "C Child process: sent '%s'\n", buf);
  }
  close(fd); // 关闭文件描述符
  exit(EXIT_SUCCESS);
}

登录后复制

当执行上述Python父进程时，我们可能会观察到如下输出：

Child process: write fd = 4
C Child process: received fd = 4
write error: Bad file descriptor
Parent receive: b''

登录后复制

错误信息write error: Bad file descriptor清晰地表明，C子程序尝试写入的文件描述符4是无效的。然而，如果我们将父进程也用C语言实现，并执行相同的C子程序，通信则会成功。

C父进程代码（作为对比）：

#include <stdio.h>
#include <stdlib.h>
#include <sys/wait.h> // For waitpid
#include <unistd.h>   // For pipe, fork, close, execl, read

int main(void) {
  int pipefd[2]; // pipefd[0] for read, pipefd[1] for write

  if (pipe(pipefd) == -1) {
    perror("pipe error");
    exit(EXIT_FAILURE);
  }

  pid_t cpid = fork();
  if (cpid == -1) {
    perror("fork error");
    exit(EXIT_FAILURE);
  }

  if (cpid == 0) { // 子进程
    close(pipefd[0]); // 子进程关闭读端
    fprintf(stderr, "C Child process (from C parent): write fd = %d\n", pipefd[1]);
    const char *child_path = "./c_child"; // C子程序路径
    char fd_str[16]; // 足够存储文件描述符的字符串
    sprintf(fd_str, "%d", pipefd[1]); // 将文件描述符转换为字符串

    // 执行C子程序，并将写端文件描述符作为参数传递
    execl(child_path, child_path, fd_str, NULL);
    perror("execl error"); // 如果execl失败
    exit(EXIT_FAILURE);
  } else { // 父进程
    close(pipefd[1]); // 父进程关闭写端
    int statloc;
    waitpid(-1, &statloc, 0); // 等待子进程结束

    char buf[100]; // 缓冲区
    ssize_t bytes_read = read(pipefd[0], buf, sizeof(buf) - 1); // 从管道读数据
    if (bytes_read == -1) {
        perror("read error");
        exit(EXIT_FAILURE);
    }
    buf[bytes_read] = '\0'; // 确保字符串以null结尾
    printf("Parent receive: %s\n", buf);
    close(pipefd[0]); // 父进程关闭读端
  }
  return 0;
}

登录后复制

C父进程的输出：

C Child process (from C parent): write fd = 4
C Child process: received fd = 4
C Child process: sent 'Hello from C!'
Parent receive: Hello from C!

登录后复制

这表明问题并非出在C子程序本身，而是Python父进程在创建管道和执行execl()时的特定行为。

核心原因：文件描述符继承性

问题的根源在于文件描述符的“继承性”属性。当一个进程通过fork()创建子进程时，子进程通常会继承父进程所有打开的文件描述符。然而，当子进程随后调用exec()系列函数（如execl()）来加载并执行一个全新的程序时，这些继承的文件描述符的处理方式就变得关键。

默认情况下，文件描述符有两种状态：

百度智能云·曦灵

百度旗下的AI数字人平台

102

查看详情

可继承（Inheritable）：这意味着在exec()调用后，该文件描述符仍然在新的程序中保持打开状态。
不可继承（Non-inheritable）：这意味着在exec()调用后，该文件描述符会被自动关闭。这通常通过设置文件描述符的FD_CLOEXEC（Close-on-exec）标志来实现。

Python 3.4+ 的行为变更： 根据Python官方文档，自Python 3.4版本起，os.pipe()函数返回的新文件描述符默认是不可继承的。这意味着，当Python父进程通过os.pipe()创建管道后，即使子进程继承了这些文件描述符，一旦子进程执行了os.execl()来启动C程序，这些默认不可继承的管道文件描述符就会被自动关闭。因此，当C程序尝试使用通过命令行参数传递进来的文件描述符时，它实际上已经是一个无效的描述符，从而导致“Bad file descriptor”错误。

相比之下，C语言中的pipe()系统调用通常会创建可继承的文件描述符（或者至少在exec时不会默认关闭，除非显式设置了FD_CLOEXEC）。这就是为什么C父进程与C子进程的通信能够成功的原因。

解决方案：显式设置文件描述符继承性

解决此问题的关键在于，在子进程调用os.execl()之前，显式地将管道的写端文件描述符设置为可继承。Python提供了os.set_inheritable(fd, inheritable)函数来完成此操作。

修改后的Python父进程代码：

import os
import sys

def main():
    r, w = os.pipe()  # 创建管道，r为读端，w为写端
    pid = os.fork()   # 派生子进程

    if pid == 0:  # 子进程
        os.close(r)  # 子进程关闭读端
        # 核心修复：在execl之前，将写端文件描述符设置为可继承
        os.set_inheritable(w, True)
        print(f'Child process: write fd = {w} (inheritable)', file=sys.stderr)
        name = './c_child'  # 编译后的C程序路径
        os.execl(name, name, str(w))
        # 如果execl失败，下面的代码才会被执行
        sys.exit(1)
    else:  # 父进程
        os.close(w)  # 父进程关闭写端
        os.waitpid(-1, 0) # 等待子进程结束
        data = os.read(r, 100) # 从管道读数据，增加缓冲区大小以容纳完整消息
        print(f'Parent receive: {data.decode()}') # 解码字节流为字符串
        os.close(r) # 父进程关闭读端

if __name__ == "__main__":
    main()

登录后复制

现在，当Python父进程执行时，输出将变为：

Child process: write fd = 4 (inheritable)
C Child process: received fd = 4
C Child process: sent 'Hello from C!'
Parent receive: Hello from C!

登录后复制

这表明通信已成功建立。

示例代码

为了完整性，这里提供修正后的Python父进程代码和C子进程代码。

Python父进程 (Python_parent.py):

import os
import sys

def main():
    # 1. 创建管道：r是读端，w是写端
    r, w = os.pipe()

    # 2. 派生子进程
    pid = os.fork()

    if pid == 0:  # 子进程
        # 2.1. 子进程关闭不需要的读端
        os.close(r)

        # 2.2. 【关键修复】设置写端文件描述符为可继承
        # 确保在execl调用后，该文件描述符在C程序中仍然有效
        os.set_inheritable(w, True) 

        print(f'Child process (Python): write fd = {w} (set inheritable)', file=sys.stderr)

        # 2.3. 执行C程序
        # 第一个参数是程序路径，后续参数是传递给C程序的命令行参数
        # 注意：第一个命令行参数通常是程序名本身
        c_program_path = './c_child' # 确保此路径正确指向编译后的C程序
        os.execl(c_program_path, c_program_path, str(w))

        # 如果execl失败，将打印错误并退出
        print(f'Error: execl failed in child process. errno: {os.strerror(os.errno)}', file=sys.stderr)
        sys.exit(1)

    else:  # 父进程
        # 2.1. 父进程关闭不需要的写端
        os.close(w)

        # 2.2. 等待子进程结束
        # os.waitpid(-1, 0) 等待任何子进程，0表示阻塞
        status = os.waitpid(-1, 0)
        print(f'Parent process (Python): Child {status[0]} exited with status {status[1]}', file=sys.stderr)

        # 2.3. 从管道读取数据
        # 读取最多100字节，注意read返回的是bytes
        try:
            data = os.read(r, 100)
            print(f'Parent process (Python): Received: {data.decode()}', file=sys.stdout)
        except OSError as e:
            print(f'Parent process (Python): Error reading from pipe: {e}', file=sys.stderr)
        finally:
            # 2.4. 关闭读端
            os.close(r)

if __name__ == "__main__":
    main()

登录后复制

C子进程 (c_child.c):

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h> // For write and close
#include <errno.h>  // For errno

int main(int argc, char *argv[]) {
  // 1. 检查命令行参数
  if (argc < 2) {
    fprintf(stderr, "Usage: %s <file_descriptor>\n", argv[0]);
    exit(EXIT_FAILURE);
  }

  // 2. 将字符串参数转换为整数文件描述符
  // strtol更健壮，可以处理错误转换
  char *endptr;
  long fd_long = strtol(argv[1], &endptr, 10);
  if (*endptr != '\0' || fd_long < 0 || fd_long > 65535) { // 简单检查fd范围
      fprintf(stderr, "C Child process: Invalid file descriptor argument '%s'\n", argv[1]);
      exit(EXIT_FAILURE);
  }
  int fd = (int)fd_long;

  fprintf(stderr, "C Child process: Received file descriptor = %d\n", fd);

  // 3. 准备要发送的数据
  const char *message = "Hello from C child!";
  // sizeof(message) 会得到指针的大小，而不是字符串的长度。
  // 应该使用 strlen(message) + 1 来包含null终止符，或者只发送 strlen(message)
  // 这里我们发送包括null终止符在内的完整缓冲区
  size_t message_len = strlen(message) + 1; 

  // 4. 向管道写入数据
  ssize_t count = write(fd, message, message_len);
  if (count == -1) {
    perror("C Child process: write error"); // 打印错误信息
    exit(EXIT_FAILURE);
  } else if (count != message_len) {
    fprintf(stderr, "C Child process: Warning: Wrote %zd bytes, expected %zu bytes.\n", count, message_len);
  } else {
    fprintf(stderr, "C Child process: Successfully sent '%s' (%zd bytes).\n", message, count);
  }

  // 5. 关闭文件描述符
  if (close(fd) == -1) {
      perror("C Child process: close error");
      exit(EXIT_FAILURE);
  }

  exit(EXIT_SUCCESS);
}

登录后复制

编译C程序：

gcc c_child.c -o c_child

登录后复制

执行Python程序：

python Python_parent.py

登录后复制

注意事项与最佳实践

Python版本兼容性： os.set_inheritable() 是解决Python 3.4+版本中os.pipe()默认行为的关键。如果使用更早的Python版本，可能不会遇到此问题，因为文件描述符默认是可继承的。但在现代开发中，建议始终使用最新且受支持的Python版本，并遵循其API规范。
文件描述符管理： 无论是父进程还是子进程，都应及时关闭不再使用的管道端。例如，子进程只负责写入，应关闭读端；父进程只负责读取，应关闭写端。这有助于避免资源泄漏和潜在的死锁。
错误处理： 在实际应用中，对os.pipe()、os.fork()、os.execl()、os.read()、os.write()等系统调用进行充分的错误检查至关重要。使用try...except块处理Python中的OSError，并在C程序中使用perror()和检查返回值。
参数传递： 将文件描述符作为命令行参数传递给子进程是一种常见做法，但要注意将其转换为字符串进行传递，并在子进程中再转换回整数。
数据编码： 在Python中，os.read()返回的是字节串（bytes），如果需要处理文本数据，需要进行适当的解码（如data.decode('utf-8')）。C程序处理的是字符数组。

总结

当Python父进程利用os.pipe()创建管道并随后通过os.execl()启动C子进程进行通信时，遇到“Bad file descriptor”错误的核心原因在于Python 3.4及更高版本中os.pipe()创建的文件描述符默认是不可继承的。这意味着在execl调用后，这些文件描述符会被自动关闭。通过在os.execl()之前显式调用os.set_inheritable(fd, True)，我们可以将特定的文件描述符设置为可继承，从而确保其在子进程执行新程序后依然有效，成功实现跨语言的管道通信。理解文件描述符的继承性是进行健壮的进程间通信编程的关键。

以上就是Python与C程序间管道通信：深入理解文件描述符继承性的详细内容，更多请关注php中文网其它相关文章！