APR源代码分析-进程篇

Apache Server的进程调度一直为人所称道，Apache 2.0推出的APR对进程进行了封装，特别是Apache 2.0的MPM(Multiple Process Management)框架就是以APR封装的进程为基础的，下面就让我们一起来探索一下APR的进程封装吧(以Unix平台为例)。

APR进程封装源代码的位置在$(APR_HOME)/threadproc目录下，本篇blog着重分析unix子目录下的proc.c文件内容，其相应头文件为$(APR_HOME)/include/apr_thread_proc.h。

一、APR进程概述
APR进程封装采用了传统的fork-exec配合方式(spawn)，即父进程在fork出子进程后继续执行其自己的代码，而子进程调用exec函数加载新的程序映像到其地址空间，执行新的程序。我们先来看看使用APR创建一个新的进程的流程，然后再根据流程做细节分析：
apr_proc_t newproc;
apr_pool_t *p;

apr_status_t rv;
const char *args[2];
apr_procattr_t *attr;

/* 初始化APR内部使用的内存 */
rv = apr_pool_initialize();
HANDLE_RTVAL(apr_pool_initialize, rv);[注1]

rv = apr_pool_create(&p, NULL);
HANDLE_RTVAL(apr_pool_create, rv);

/* 创建并初始化新进程的属性 */
rv = apr_procattr_create(&attr, p);
HANDLE_RTVAL(apr_procattr_create, rv);

rv = apr_procattr_io_set(attr, APR_FULL_BLOCK, APR_FULL_BLOCK,
APR_NO_PIPE); /* 可选 */
HANDLE_RTVAL(apr_procattr_io_set, rv);

rv = apr_procattr_dir_set(attr, "startup_path"); /* 可选 */
HANDLE_RTVAL(apr_procattr_dir_set, rv);

rv = apr_procattr_cmdtype_set(attr, APR_PROGRAM); /* 可选 */
HANDLE_RTVAL(apr_procattr_cmdtype_set, rv);

… … /* 其他设置进程属性的函数 */

/* 创建新进程 */
args[0] = "proc_child";
args[1] = NULL;
rv = apr_proc_create(&newproc, "your_progname", args, NULL, attr, p);
HANDLE_RTVAL(apr_proc_create, rv);

/* 等待子进程结束 */
rv = apr_proc_wait(&newproc, NULL, NULL, APR_WAIT);
HANDLE_RTVAL(apr_proc_wait, rv);

二、APR procattr创建
在我们平时的Unix进程相关编程时，我们大致会接触两类进程操作函数：进程创建函数(如fork和exec等)和进程属性操作函数(getpid、chdir等)，APR将进程的相关属性信息封装到apr_procattr_t结构体中，我们来看看这个重要的结构体定义：(这里只列出Unix下可用的属性)

/* in $(APR_HOME)/include/arch/unix/apr_arch_threadproc.h */
struct apr_procattr_t {
/* PART 1 */
apr_pool_t *pool;

    /* PART 2 */
    apr_file_t *parent_in;
    apr_file_t *child_in;
    apr_file_t *parent_out;
    apr_file_t *child_out;
    apr_file_t *parent_err;
    apr_file_t *child_err;

    /* PART 3 */
    char *currdir;
    apr_int32_t cmdtype;
    apr_int32_t detached;

    /* PART 4 */
    struct rlimit *limit_cpu;
    struct rlimit *limit_mem;
    struct rlimit *limit_nproc;
    struct rlimit *limit_nofile;

    /* PART 5 */
    apr_child_errfn_t *errfn;
    apr_int32_t errchk;

    /* PART 6 */
    apr_uid_t   uid;
    apr_gid_t   gid;
};
我这里将apr_procattr_t包含的字段大致分为6部分，下面逐一说明：
[PART 1]
在上一篇关于APR的blog中说过，大部分的APR类型中都会有一个apr_pool_t类型字段，用于APR内部的内存管理，此结构也无例外。该字段用来标识procattr在哪个pool中分配的内存。

[PART 2]
进程不是孤立存在的，进程也是有父有子的。父子进程间通过传统的匿名pipe进行通信。在apr_procattr_io_set(attr, APR_FULL_BLOCK, APR_FULL_BLOCK, APR_FULL_BLOCK)调用后，我们可以用下面的图来表示这些字段的状态：[注3]

parent_in ———————————————-
                                                                       \|/
                     ——————————————
                     filedes[0]     “in_pipe”       filedes[1]
                     ——————————————
                    /|\
child_in ——

parent_out —-
                     \|/
                     ——————————————-
                     filedes[0]     “out_pipe”       filedes[1]
                     ——————————————-
                                                                          /|\
child_out ———————————————-

parent_err —-
                     \|/
                     ——————————————-
                     filedes[0]     “err_pipe”       filedes[1]
                     ——————————————-
                                                                        /|\
child_err ————————————————

还有一点值得注意的是apr_procattr_io_set调用apr_file_pipe_create创建pipe的时候，为相应的in/out字段注册了cleanup函数apr_unix_file_cleanup，apr_unix_file_cleanup在相应的in/out字段的pool销毁时被调用，在后面的apr_proc_create时还会涉及到这块儿。

[PART 3]
进程的一些常规属性。
currdir标识新进程启动时的工作路径(执行路径)，默认时为和父进程相同；
cmdtype标识新的子进程将执行什么类型的命令；共5种类型，默认为APR_PROGRAM，定义见[注2]
detached标识新进程是否为分离后台进程，默认为前台进程。

[PART 4]
这4个字段标识平台对进程资源的限制，一般我们接触不到。struct rlimit的定义在/usr/include/sys/resource.h中。

[PART 5]
errfn为一函数指针，原型为typedef void (apr_child_errfn_t)(apr_pool_t *proc, apr_status_t err, const char *description); 这个函数指针如果被赋值，那么当子进程遇到错误退出前将调用该函数。
errchk一个标志值，用于告知apr_proc_create是否对子进程属性进行检查，如检查curdir的access属性等。

[PART 6]
用户ID和组ID，用于检索允许该用户所使用的权限。

三、APR proc创建
APR proc的描述结构为apr_proc_t：
typedef struct apr_proc_t {
    /** The process ID */
    pid_t pid;
    /** Parent's side of pipe to child's stdin */
    apr_file_t *in;
    /** Parent's side of pipe to child's stdout */
    apr_file_t *out;
    /** Parent's side of pipe to child's stdouterr */
    apr_file_t *err;
} apr_proc_t;
结构中有很清晰明了的注释，这里就不再说了。
创建一个新的进程的接口为apr_proc_create，其参数也都很简单。前面说过apr_proc_create先fork出一个子进程，众所周知fork后子进程是父进程的复制品[注4]，然后子进程再通过exec函数加载新的程序映像，并开始执行新的程序。这里分析一下apr_proc_create的执行流程，其伪码如下：
apr_proc_create
{
   if (attr->errchk)
      对attr做有效性检查，让错误尽量发生在parent process中，而不是留给child process; —-(1)

fork子进程;

   { /* 在子进程中 */
      清理一些不必要的从父进程继承下来的描述符等，为
      exec提供一个“干净的”环境；——(2)

      关闭attr->parent_in、parent_out和parent_err，
      并分别重定向attr->child_in、child_out和child_err为
      STDIN_FILENO、STDOUT_FILENO和STDERR_FILENO; —–(3)

判断attr->cmdtype，选择执行exec函数; ——(4)
}

/* 在父进程中 */
关闭attr->child_in、child_out和child_err;
}

下面针对上述伪码进行具体分析：
(1) 有效性检查
attr->errchk属性可以通过apr_procattr_error_check_set函数在apr_proc_create之前设置。一旦设置，apr_proc_create就会在fork子进程前对procattr的有效性进行检查，比如attr->curdir的访问属性(利用access检查)、progname文件的访问权限检查等。这些的目的就是一个：“让错误发生在fork前，不要等到在子进程中出错”。

(2) 清理“不必要的”继承物
由于子进程复制了父进程的地址空间，随之而来的还包含一些“不必要”的“垃圾”。为了给exec提供一个“干净的”环境，在exec之前首先要做一下必要的清理，APR使用apr_pool_cleanup_for_exec来完成这项任务。apr_pool_cleanup_for_exec究竟做了些什么呢？这涉及到了apr_pool的设计，这里仅仅作简单说明。apr_pool_cleanup_for_exec通过pool内部的global_pool搜索其子结点，并逐一递归cleanup，这里的cleanup并不释放任何内存，也不flush I/O Buffer，仅是调用结点注册的相关cleanup函数，这里我们可以回顾一下apr_procattr_io_set调用，在创建相关pipe时就为相应的in/out/err描述符注册了cleanup函数。同样就是因为这点，子进程在调用apr_pool_cleanup_for_exec之前，首先要kill掉（这里理解就是去掉相关文件描述符上的cleanup注册函数）这些注册函数。防止相关pipe的描述符被意外关闭。

(3) 建立起与父进程“对话通道”
父进程在创建procattr时就建立了若干个pipe，fork后子进程继承了这些。为了关掉一些不必要的描述符和更好的和父进程通讯，子进程作了一些重定向的工作，这里用2副图来表示重定向前后的差别：（图中显示的是子进程关闭parent_in/out/err三个描述符后的文件描述表）

重定向前：

重定向后：

(4) 启动新的程序
根据APR proc的设计，子进程在被fork出来后，将根据procattr的cmdtype等属性信息决定调用哪种exec函数。当子进程调用一种exec函数时，子进程将完全由新程序代换，而新程序则从其main函数开始执行(与fork不同，fork返回后子进程从fork点开始往下执行)。因为调用exec并不创建新进程，所以前后的进程ID并未改变。exec只是用另一个新程序替换了当前进程的正文、数据、堆和栈段。这里不详述这几种函数的差别，在参考资料中有相关描述[注5]。

四、总结
简单分析了一下APR的进程封装，APR的源代码注释很详尽，很多细节可以直接察看源码。

[注1]
#define HANDLE_RTVAL(func, rv) do { \
if (rv != APR_SUCCESS) { \
printf("%s executes error!\n", #func); \
return rv; \
} \
} while(0)

[注2]
typedef enum {
    APR_SHELLCMD,           /* use the shell to invoke the program */
    APR_PROGRAM,            /* invoke the program directly, no copied env */
    APR_PROGRAM_ENV,        /* invoke the program, replicating our environment */
    APR_PROGRAM_PATH,       /* find program on PATH, use our environment */
    APR_SHELLCMD_ENV        /* use the shell to invoke the program, replicating our environment */
} apr_cmdtype_e;

[注3]
xx_in/xx_out都是相对于child process来说的，xx_in表示通过该描述符child process从in_pipe读出parent process写入in_pipe的数据；xx_out表示通过该描述符child process将数据写入out_pipe供parent process使用；xx_err则是child process将错误信息写入err_pipe供parent process使用。

[注4]
fork后子进程和父进程的同和异
同：
子进程从父进程那继承了
– 父进程已打开的文件描述符；
– 实际用户ID、实际组ID、有效用户ID、有效组ID；
– 添加组ID；
– 进程组ID；
– 对话期ID；
– 控制终端；
– 设置用户ID标志和设置组ID标志；
– 当前工作目录；
– 根目录；
– 文件方式创建屏蔽字；
– 信号屏蔽和排列；
– 对任一打开文件描述符的在执行时关闭标志；
– 环境；
– 连接的共享存储段；
– 资源限制。

异：
– fork的返回值；
– 进程ID；
– 不同的父进程ID；
– 子进程的tms_utime, tms_stime, tms_cutime以及tme_ustime设置为0；
– 父进程设置的锁，子进程不继承；
– 子进程的未决告警被清除；
– 子进程的未决信号集设置为空集。

[注5]
这里引用《Unix环境高级编程》中关于如何区分和记忆exec函数族的方法：“这六个exec函数的参数很难记忆。函数名中的字符会给我们一些帮助。字母p表示该函数取filename作为参数，并且用PATH环境变量寻找可执行文件。字母l表示该函数取一个参数列表，它与字母v互斥。v表示该函数取一个argv[]。最后，字母e表示该函数取envp[] 数组，而不使用当前环境。”

参考资料：
1、《Unix环境高级编程》
2、《Unix系统编程》