分类 技术志 下的文章

APR源代码分析-文件IO篇

文件I/O在Unix下占据着非常重要的地位,曾有一句经典语句绝对可以说明file在Unix下的重要性,That is "In UNIX, everything is a file",APR就是本着这个思想对Unix文件I/O进行了再一次的抽象封装,以提供更为强大和友善的文件I/O接口。

APR File I/O源代码的位置在$(APR_HOME)/file_io目录下,本篇blog着重分析unix子目录下的相关.c文件内容,其相应头文件为$(APR_HOME)/include/apr_file_io.h和apr_file_info.h。

一、APR File I/O介绍
APR用了"不小的篇幅"来"描述"文件I/O,在$(APR_HOME)/file_io/unix目录下,你会看到多个.c文件,每个.c都是一类文件I/O操作。比如:
 open.c — 封装了文件的打开、关闭、改名和删除等操作;
 readwrite.c — 顾名思义,它里面包含了文件的读写操作;
 pipe.c — 包含了pipe相关操作。
还有许多这里不多说,由于文件I/O操作复杂,我们下面将仅挑出最常用的文件I/O操作进行分析。

二、基本APR I/O
APR定义了apr_file_t类型来表示广义的文件。先来看一下这个核心数据结构的“模样”:
/* in apr_arch_file_io.h */
struct apr_file_t {
    apr_pool_t *pool;
    int filedes;
    char *fname;
    apr_int32_t flags;
    int eof_hit;
    int is_pipe;
    apr_interval_time_t timeout;
    int buffered;
    enum {BLK_UNKNOWN, BLK_OFF, BLK_ON } blocking;
    int ungetchar;    /* Last char provided by an unget op. (-1 = no char)*/
#ifndef WAITIO_USES_POLL
    /* if there is a timeout set, then this pollset is used */
    apr_pollset_t *pollset;
#endif
    /* Stuff for buffered mode */
    char *buffer;
    int bufpos;               /* Read/Write position in buffer */
    unsigned long dataRead;   /* amount of valid data read into buffer */
    int direction;            /* buffer being used for 0 = read, 1 = write */
    unsigned long filePtr;    /* position in file of handle */
#if APR_HAS_THREADS
    struct apr_thread_mutex_t *thlock;
#endif
};
在这个数据结构中有些字段的含义一目了然,如filedes、fname、is_pipe等,而有些呢即使看了注释也不能够马上了解其真正的含义,这就需要在阅读源码时来体会。

1、apr_file_open
ANSI C标准库和Unix系统库函数都提供对“打开文件”这个操作语义的支持。他们提供的接口很相似,参数一般都为“文件名+打开标志位+权限标志位”,apr_file_open也不能忽略习惯的巨大力量,也提供了类似的接口如下:
APR_DECLARE(apr_status_t) apr_file_open(apr_file_t **new,
                                        const char *fname,
                                        apr_int32_t flag,
                                        apr_fileperms_t perm,
                                        apr_pool_t *pool);
其中fname、flag和perm三个参数你应该很眼熟吧:)。每个封装都有自定义的一些标志宏,这里也不例外,flag和perm参数都需要用户传入APR自定义的一些宏组合,不过由于这些宏的可读性都很好,不会成为你使用过程的绊脚石。由于apr_file_open操作是其他操作的基础所以这里作简单分析,还是采用老办法伪码法:
apr_file_open
{
 “打开标志位”转换;—–(1)
 “权限标志位”转换;—–(2)
 调用Unix原生API打开文件;
 设置apr_file_t变量相关属性值;——(3)
}

(1) 由于上面说了,APR定义了自己的“文件打开标志位”,所以在apr_file_open的开始需要将这些专有的“文件打开标志位”转换为Unix平台通用的“文件打开标志位”;
(2) 同(1)理,专有的“权限标志位”需要转换为Unix平台通用的“权限标志位”;
(3) APR file I/O封装支持非阻塞I/O带超时等待以及缓冲I/O,默认情况下为阻塞的,是否缓冲可通过“文件打开标志位”设置。一旦设置为缓冲I/O,则apr_file_open会在pool中开辟大小为APR_FILE_BUFSIZE(4096)的缓冲区供使用。

2、apr_file_read/apr_file_write
该两个接口的看点是其缓冲区管理(前提:在apr_file_open该文件时指定了是Buffer I/O及非阻塞I/O带超时等待)。还有一点就是通过这两个接口的实现我们可以了解到上面提到的apr_file_t中某些“晦涩”字段的真正含义。
(1) 带缓冲I/O
这里的缓冲是APR自己来管理的,带缓冲的好处很简单,即减少直接操作文件的次数,提高I/O性能。要知道无论lseek还是read/write都是很耗时的,尽可能的减少直接I/O操作次数,会带来性能上明显的改善。这里将用图示说明缓冲区与文件的对应关系,以帮助理解APR缓冲I/O:

              thefile->filePtr
                   |
0                \|/                      文件末尾
———————————————–
///////////////////                    filedes (文件)
———————————————–
     /             \
    /               \
   /                 \
0|/_              _\|           APR_FILE_BUFSIZE
———————————————–
////////////////////////                               (缓冲区)
\\\\\\\\\\
———————————————–
/|\      /|\           /|\
 |        |             |
 |        |            thefile->dataRead
 |  thefile->bufpos
thefile->buffer

说明:"//////" — 表示从文件读到缓冲区的数据;
      "\\\\\\" — 表示从用户已从缓冲区读出的数据。

thefile->bufpos : 缓冲区中的读写位置
thefile->dataRead: 标识缓冲区从文件读取的数据的大小
thefile->fileptr: 标识文件本身被读到什么位置

读写切换:如果先读后写,则每次写的时候都要重新定位文件指针到上次读的结尾处;如果先写后读,则每次读前都要flush缓冲区。

(2)非阻塞I/O带超时等待
这里分析下面一段apr_file_read的代码:
 do {
            rv = read(thefile->filedes, buf, *nbytes);
        } while (rv == -1 && errno == EINTR); ————–(a)
#ifdef USE_WAIT_FOR_IO
        if (rv == -1 &&
            (errno == EAGAIN || errno == EWOULDBLOCK) &&
            thefile->timeout != 0) {
            apr_status_t arv = apr_wait_for_io_or_timeout(thefile, NULL, 1); ——(b)
            if (arv != APR_SUCCESS) {
                *nbytes = bytes_read;
                return arv;
            }
            else {
                do {
                    rv = read(thefile->filedes, buf, *nbytes);
                } while (rv == -1 && errno == EINTR);
            }
        } 
#endif

 (a) 第一个do-while块:之所以使用一个do-while块是为了当read操作被信号中断后重启read操作;
 (b) 一旦文件描述符设为非阻塞,(a)则瞬间返回,一旦(a)并未读出数据,则rv = -1并且errno被设置为errno = EAGAIN,这时开始带超时的等待该文件描述符I/O就绪。这里的apr_wait_for_io_or_timeout使用了I/O的多路复用技术Poll,在后面的APR分析中会详细理解之。apr_file_t中的timeout字段就是用来做超时等待的。

3、apr_file_close
该接口主要完成的工作为刷新缓冲区、关闭文件描述符、删除文件(如果设置了APR_DELONCLOSE标志位)和清理Pool中内存的工作,这里不详述了。

三、总结
复杂的文件I/O,让我们通过三言两语就说完了。大家慢慢体会,看看世界著名开源项目的源代码,收获是颇丰的,不妨尝试一下。

APR源代码分析-信号篇

U know 信号Unix的重要系统机制。信号机制使用起来很简单,但是理解起来有并不是那么Easy。APR Signal的封装也并不繁琐,代码量很少,所以分析APR Signal的过程其实就是学习Signal机制的过程。

一、信号介绍
1、Signal“历史久远”,在最初的Unix系统上就能看到它“伟岸”的身影。它的引入用来进行User Mode进程间的交互,系统内核也可以利用它通知User Mode进程发生了哪些系统事件。从最开始引入到现在,信号只是做了很小的一些改动(不可靠信号模型到可靠信号模型)。

2、信号服务于两个目的:
 1) 通知某进程某特定事件发生了;
 2) 强制其通知进程执行相应的信号处理程序。

二、基础概念
1、信号的一个特性就是可以在任何时候发给某一进程,而无需知道该进程的状态。如果该进程当前并未处于执行态,则该信号被内核Save起来,直到该进程恢复执行才传递给它;如果一个信号被进程设置为阻塞,则该信号的传递被延迟,直到其阻塞被取消它才被传递给进程。

2、系统内核严格区分信号传送的两个阶段:
 1) Signal Generation : 系统内核更新目标进程描述结构来表示一个信号已经被发送出去。
 2) Signal Delivery : 内核强制目标进程对信号做出反应,或执行相关信号处理函数,或改变进程执行状态。
信号的诞生和传输我们可以这样理解:把信号作为“消费品”,其Generation状态就是“消费品诞生”,其Delivery状态就是理解为“被消费了”。这样势必存在这样的一个情况:“消费品诞生了,但是还没有被消费掉”,在信号模型中,这样的状态被称为“pending”(悬而未决)。

任何时候一个进程只能有一个这样的某类型的pending信号,同一进程的其他同类型的pending信号将不排队,将被简单的discard(丢弃)掉。

3、如何消费一个signal
 1) 忽略该信号;[注1]
 2) 响应该信号,执行一特定的信号处理函数;
 3) 响应该信号,执行系统默认的处理函数。包括:Terminate、Dump、Ignore、Stop、Continue等。
这里有特殊:SIGKILL和SIGSTOP两个信号不能忽略、不能捕捉、不能阻塞,而只是执行系统默认处理函数。

三、APR Signal封装
APR Signal源代码的位置在$(APR_HOME)/\threadproc目录下,本篇blog着重分析unix子目录下的signals.c文件内容,其相应头文件为$(APR_HOME)/include/apr_signal.h。

1、apr_signal函数
Unix信号机制提供的最简单最常见的接口是signal函数,用来设置某特定信号的处理函数。但是由于早期版本和后期版本处理信号方式的不同,导致现在直接使用signal函数在不同的平台上可能得到不同的结果。
早期版本处理方式:进程每次处理信号后,随即将信号的处理动作重置为默认值。
后期版本处理方式:进程每次处理信号后,信号的处理动作不被重置为默认值。

我们举例测试一下:分别在Solaris 9 、Cygwin和RedHat Linux 9上。
例子:
E.G 1:
void siguser1_handler(int sig);

int main(void)
{
        if (signal(SIGUSR1, siguser1_handler) == SIG_ERR) {
                perror("siguser1_handler error");
                exit(1);
        }
        while (1) {
                pause();
        }
}

void siguser1_handler(int sig)
{
        printf("in siguser1_handler, %d\n", sig);
}

input:
kill -USR1 9122
kill -USR1 9122

output:(Solaris 9)
in siguser1_handler, 16
用户信号1 (程序终止)

output:(Cygwin and RH9)
in siguser1_handler, 30
in siguser1_handler, 30

..

E.G 1结果表示在Solaris 9上,信号的处理仍然按照早期版本的方式,而Cygwin和RH9则都按照后期版本的方式。
那么有什么替代signal函数的办法么?在最新的X/Open和UNIX specifications中都推荐使用一个新的信号接口sigaction,该接口采用后期版本的信号处理方式。在《Unix高级环境编程》中就有使用sigaction实现signal的方法,而APR恰恰也是使用了该方法实现了apr_signal。其代码如下:
APR_DECLARE(apr_sigfunc_t *) apr_signal(int signo, apr_sigfunc_t * func)
{
    struct sigaction act, oact;

    act.sa_handler = func;
    sigemptyset(&act.sa_mask); ——————(1)
    act.sa_flags = 0;
#ifdef SA_INTERRUPT             /* SunOS */
    act.sa_flags |= SA_INTERRUPT;
#endif
    … …

    if (sigaction(signo, &act, &oact) < 0)
        return SIG_ERR;
    return oact.sa_handler;
}

(1) 这里有一个Signal Set(信号集)的概念,通过相关函数操作信号集以改变内核传递信号给进程时的行为。Unix用sigset_t结构来表示信号集。信号集总是和sigprocmask或sigaction一起使用。关于信号集和sigprocmask函数将在下面详述。

2、apr_signal_block和apr_signal_unblock
这两个函数分别负责阻塞和取消阻塞内核传递某信号给目标进程。其主要利用的就是sigprocmask函数来实现的。每个进程都有其对应的信号屏蔽字,它让目标进程能够通知内核“哪些传给我的信号该阻塞,哪些畅通无阻”。在《Unix高级环境编程》中作者有这么一段说明“如果在调用sigprocmask后有任何未决的、不再阻塞的信号,则在sigprocmask返回前,至少将其中之一递送给该进程。”能理解这句我想信号屏蔽字这块儿也就没什么问题了。在Unix高级环境编程》中作者举了一个很不错的例子,讲解的也很详细。这里想举例说明的是:如果多次调用SET_BLOCK的sigprocmask设置屏蔽字,结果是什么呢?

E.G 3
int main(void)
{
        sigset_t newmask, oldmask, pendmask;

        /* 设置进程信号屏蔽字, 阻塞SIGQUIT */
        sigemptyset(&newmask);
        sigaddset(&newmask, SIGQUIT);

        if (sigprocmask(SIG_BLOCK, &newmask, &oldmask) < 0) {
                perror("SIG_BLOCK error");
        }

        printf("1st to wait 30 seconds\n");
        sleep(30);

        /* 第一次察看当前的处于pend状态的信号 */
        if (sigpending(&pendmask) < 0) {
                perror("sigpending error");
        }

        if (sigismember(&pendmask, SIGQUIT)) {
                printf("SIGQUIT pending\n");
        } else {
                printf("SIGQUIT unpending\n");
        }

        if (sigismember(&pendmask, SIGUSR1)) {

        if (sigismember(&pendmask, SIGUSR1)) {
                printf("SIGUSR1 pending\n");
        } else {
                printf("SIGUSR1 unpending\n");
        }

        /* 重新设置屏蔽字, 阻塞SIGUSR1 */
        sigemptyset(&newmask);
        sigaddset(&newmask, SIGUSR1);

        if (sigprocmask(SIG_BLOCK, &newmask, &oldmask) < 0) {
                perror("SIG_BLOCK error");
        }

        printf("2nd to wait 30 seconds\n");
        sleep(30);

        /* 再次察看当前的处于pend状态的信号 */
        if (sigpending(&pendmask) < 0) {
                perror("sigpending error");
        }

        if (sigismember(&pendmask, SIGQUIT)) {
                printf("SIGQUIT pending\n");
        } else {
                printf("SIGQUIT unpending\n");
        }

        if (sigismember(&pendmask, SIGUSR1)) {
                printf("SIGUSR1 pending\n");
        } else {
                printf("SIGUSR1 unpending\n");
        }
        exit(0);
}

//output:
1st to wait 30 seconds
^\
SIGQUIT pending
SIGUSR1 unpending
2nd to wait 30 seconds — 这之后发送kill -USR1 28821
SIGQUIT pending
SIGUSR1 pending

第一次输出SIGUSR1 unpending是因为并未发送USR1信号,所以自然为unpending状态;我想说的是第二次重新sigprocmask时我们仅加入了SIGUSR1,并未显示加入SIGQUIT,之后察看pending信号中SIGQUIT仍然为pending状态,这说明两次SET_BLOCK的sigprocmask调用是"或"的关系,第二次SET_BLOCK的sigprocmask调用不会将第一次SET_BLOCK的sigprocmask调用设置的阻塞信号变为非阻塞的。

四、总结
信号简单而强大,如果想深入了解signal的实现,参考资料中的第二本书会给你满意的答案。

五、参考资料:
1、《Unix高级环境编程
2、《深入理解Linux内核

[注1]
忽略信号和阻塞信号
前者相当于一个消费行为,该信号的状态为“已消费”,而后者只是将信号做缓存,等待阻塞打开,再交给进程消费,其状态为“未消费”,也相当于处于pending状态。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats