标签 开源 下的文章

APR源代码分析-进程同步篇

最新的统计数据显示Apache服务器在全世界仍然占据着Web服务器龙头老大的位置,而且市场占有率遥遥领先,所以学习Apache相关知识是完全正确的方向,这里我们继续分析APR进程同步相关内容。

进程同步的源代码的位置在$(APR_HOME)/locks目录下,本篇blog着重分析unix子目录下的proc_mutex.c、global_mutex文件内容,其相应头文件为$(APR_HOME)/include/apr_proc_mutex.h、apr_global_mutex.h。其用于不同进程之间的同步以及多进程多线程中的同步问题。

APR提供三种同步措施,分别为:
apr_thread_mutex_t – 支持单个进程内的多线程同步;
apr_proc_mutex_t – 支持多个进程间的同步;
apr_global_mutex_t  – 支持不同进程内的不同线程间同步。
在本篇中着重分析apr_proc_mutex_t。

1、同步机制
APR提供多种进程同步的机制供选择使用。在apr_proc_mutex.h中列举了究竟有哪些同步机制:
typedef enum {
    APR_LOCK_FCNTL,         /* 记录上锁 */
    APR_LOCK_FLOCK,         /* 文件上锁 */
    APR_LOCK_SYSVSEM,       /* 系统V信号量 */
    APR_LOCK_PROC_PTHREAD,  /* 利用pthread线程锁特性 */
    APR_LOCK_POSIXSEM,      /* POSIX信号量 */
    APR_LOCK_DEFAULT        /* 默认进程间锁 */
} apr_lockmech_e;

这几种锁机制,随便拿出哪一种都很复杂。APR的代码注释中强调了一点就是“只有APR_LOCK_DEFAULT”是可移植的。这样一来用户若要使用APR进程同步机制接口,就必须显式指定一种同步机制。

2、实现点滴
APR提供每种同步机制的实现,每种机制体现为一组函数接口,这些接口被封装在一个结构体类型中:

/* in apr_arch_proc_mutex.h */
struct apr_proc_mutex_unix_lock_methods_t {
    unsigned int flags;
    apr_status_t (*create)(apr_proc_mutex_t *, const char *);
    apr_status_t (*acquire)(apr_proc_mutex_t *);
    apr_status_t (*tryacquire)(apr_proc_mutex_t *);
    apr_status_t (*release)(apr_proc_mutex_t *);
    apr_status_t (*cleanup)(void *);
    apr_status_t (*child_init)(apr_proc_mutex_t **, apr_pool_t *, const char *);
    const char *name;
};

之后在apr_proc_mutex_t类型中,apr_proc_mutex_unix_lock_methods_t的出现也就在情理之中了:)
/* in apr_arch_proc_mutex.h */
struct apr_proc_mutex_t {
    apr_pool_t *pool;
    const apr_proc_mutex_unix_lock_methods_t *meth;
    const apr_proc_mutex_unix_lock_methods_t *inter_meth;
    int curr_locked;
    char *fname;
    … …
#if APR_HAS_PROC_PTHREAD_SERIALIZE
    pthread_mutex_t *pthread_interproc;
#endif
};

这样APR提供的用户接口其实就是对mech各个“成员函数”功能的“薄封装”,而真正干活的其实是apr_proc_mutex_t中的meth字段的“成员函数”,它们的工作包括mutex的创建、获取(加锁)和清除(解锁)等。以“获取锁”为例APR的实现如下:
APR_DECLARE(apr_status_t) apr_proc_mutex_lock(apr_proc_mutex_t *mutex)
{
    return mutex->meth->acquire(mutex);
}

3、同步机制
按照枚举类型apr_lockmech_e的声明,我们知道APR为我们提供了5种同步机制,下面分别简单说说:
(1) 记录锁
记录锁是一种建议性锁,它不能防止一个进程写已由另一个进程上了读锁的文件,它主要利用fcntl系统调用来完成锁功能的,记得在以前的一篇关于APR 文件I/O的Blog中谈过记录锁,这里不再详细叙述了。

(2) 文件锁
文件锁是记录锁的一个特例,其功能由函数接口flock支持。值得说明的是它仅仅提供“写入锁”(独占锁),而不提供“读入锁”(共享锁)。

(3) System V信号量
System V信号量是一种内核维护的信号量,所以我们只需调用semget获取一个System V信号量的描述符即可。值得注意的是与POSIX的单个“计数信号量”不同的是System V信号量是一个“计数信号量集”。所以我们在注意的是在初始化时设定好信号量集的属性以及在调用semop时正确选择信号量集中的信号量。在APR的System V信号量集中只是申请了一个信号量。

(4) 利用线程互斥锁机制
APR使用pthread提供的互斥锁机制。原本pthread互斥锁是用来互斥一个进程内的各个线程的,但APR在共享内存中创建了pthread_mutex_t,这样使得不同进程的主线程实现互斥,从而达到进程间互斥的目的。截取部分代码如下:
new_mutex->pthread_interproc = (pthread_mutex_t *)mmap(
                                       (caddr_t) 0,
                                       sizeof(pthread_mutex_t),
                                       PROT_READ | PROT_WRITE, MAP_SHARED,
                                       fd, 0);

(5) POSIX信号量
APR使用了POSIX有名信号量机制,从下面的代码中我们可以看出这一点:
/* in proc_mutex.c */
apr_snprintf(semname, sizeof(semname), "/ApR.%lxZ%lx", sec, usec); /* APR自定义了一种POSIX信号量命名规则,在源代码中有说明 */
psem = sem_open(semname, O_CREAT, 0644, 1);

4、如何使用
我们知道父进程的锁其子进程并不继承。APR进程同步机制的一个典型使用方法就是:“Create the mutex in the Parent, Attach to it in the Child”。APR提供接口apr_proc_mutex_child_init在子进程中re-open the mutex。

5、小结
APR提供多种锁机制,所以使用的时候要根据具体应用情况细心选择。

C单元测试包设计与实现

在Java、C++和C#等高级语言的单元测试正进行的如火如荼的时候,C好像做了看客,冷清的躲在了一个不起眼的角落里。C并不是没有单元测试工具,像Check和CUnit这样的工具也很有名气,只是和大名鼎鼎的JUnit比起来,还是显得有些英雄气短。很多大型的C项目,如APR等都没有使用像Check、CUnit这样通用的单元测试框架,而是另起炉灶自己编写。其实编写一个仅能满足单个项目需要的C单元测试工具包并非难事。在部分参考APR的ABTS的前提下,我们也来设计一套自己的简单的C语言单元测试包。

鉴于减少复杂性,我们的目标仅仅是设计和实现一套能在单进程、单线程下工作良好的C单元测试包,我们暂且将之命名为CUT – C Unit test Toolkit。
1、CUT涉及的术语解释
曾经接触过多个有名的单元测试框架如JUnit、CppUnit、TestNG等,它们在对单元测试某些概念的理解上并不是全都一样的。这里我们也有我们自己的定义。
a) 一个逻辑unit test包含至少一个或者多个suite;
b) 一个suite包含至少0或者多个test case;
c) 每个test case中至少包含1个或者多个“断言类”语句。

2、CUT预告片
其实每设计一个程序之前自己都会考虑该提供给用户怎样的东东呢?下面是应该是CUT的经典用法:
cut_ts_t *suite = NULL;

CUT_TEST_BEGIN("classic usage of CUT");

CUT_TS_INIT(suite); 
CUT_TC_ADD(suite, "test case: tc_add", tc_add);
CUT_TC_ADD(suite, "test case: tc_sub", tc_sub);
CUT_TS_ADD(suite, my_setup, my_teardown);

CUT_TEST_RUN();

CUT_TEST_REPORT();

CUT_TEST_END();

3、CUT的组织结构
从上面的经典用法中也可以看出我们的CUT的组织是这样的:
            Test
             |
             |
        +————-+
       TS-1    …  TS-N
        |                |
        |                |
   +——-+ …   +——–+
  TC-1   TC-N     TC-1     TC-N
其中:TS – Test Suite,TC – Test Case

4、CUT接口设计与实现
在“预告片”中我们已经暴露了大部分CUT的重要接口,在下面我们将伴随着实现逐一说明。另外在CUT的实现中我们使用了APR RING技术,不了解APR RING的可以参见我的上一篇Blog“APR分析-环篇”。
1) 主要数据结构
typedef void (*tc_func)(cut_tc_t *tc); /* Test Case标准原型函数指针,所有的Test Case都应该符合这个原型 */
typedef void (*fixture_func)();  /* 用于suite环境建立和拆除的func原型 */

/* Test Case数据结构 */
typedef struct cut_tc_t {
        APR_RING_ENTRY(cut_tc_t)        link;
        char                            name[CUT_MAX_STR_LEN+1];
        tc_func                         func;
        int                             failed;
} cut_tc_t;
typedef APR_RING_HEAD(cut_tc_head_t, cut_tc_t) cut_tc_head_t;

/* Test Suite数据结构 */
typedef struct cut_ts_t {
        APR_RING_ENTRY(cut_ts_t)        link;
        cut_tc_head_t                   tc_head;
        int                             failed; /* 失败用例总数 */
        int                             ran; /* 运行用例总数 */
        fixture_func                    sf; /* setup func */
        fixture_func                    tf; /* teardown func */
} cut_ts_t;
typedef APR_RING_HEAD(cut_ts_head_t, cut_ts_t) cut_ts_head_t;

/* 逻辑单元测试数据结构 */
typedef struct cut_test_t {
        char                            name[CUT_MAX_STR_LEN+1];
        cut_ts_head_t                   ts_head;
} cut_test_t;

2) CUT_TEST_BEGIN和CUT_TEST_END
这两者分别是一个逻辑Test的开始与结束。我们在CUT_TEST_BEGIN建立好我们的内部数据结构,其唯一宏参数用来加强可读性,在CUT_TEST_END中释放在测试过程中获取的系统资源。其实现如下:
#define CUT_TEST_BEGIN(desc) \
        cut_test_t *_cut_test = NULL; \
        _cut_test = malloc(sizeof(cut_test_t)); \
        if (_cut_test == NULL) { \
                return errno; \
        } \
        memset(_cut_test, 0, sizeof(cut_test_t)); \
        APR_RING_INIT(&(_cut_test->ts_head), cut_ts_t, link); \
        strncpy(_cut_test->name, desc, CUT_MAX_STR_LEN)

#define CUT_TEST_END() do { \
  /* 这里遍历Ring,释放其他相关内存,这里限于篇幅未写出 */
                if (_cut_test != NULL) { \
                        free(_cut_test); \
                } \
        } while(0)

3) CUT_TS_ADD和CUT_TC_ADD
前者负责向一逻辑单元测试中添加Test Suite,后者则负责向一个Test Suite中添加测试用例。在CUT中,每个Test Suite依赖两个Fixture Function- setup和teardown。setup用于建立测试环境,比如打开某文件,获得文件句柄供该Test Suite中的若干Test Case使用;而teardown则用来做后处理,释放setup以及在众多Test Case执行时分配的资源,比如上面关闭提到的文件句柄。

在实现CUT的Test Suite时,实际上加了一个对用户使用的限制,那就是CUT负责管理Test Suite的内存分配,说限制也好我觉得倒是给用户提供了一种方便。这两个宏的实现如下:
#define CUT_TEST_SUITE_INIT(suite) do { \
                if (suite == NULL) { \
                        suite = malloc(sizeof(cut_ts_t)); \
                        if (suite == NULL) { \
                                return errno; \
                        } \
                } \
                memset(suite, 0, sizeof(cut_ts_t)); \
                APR_RING_INIT(&(suite->tc_head), cut_tc_t, link); \
                suite->ran = 0; \
                suite->failed = 0; \
        } while(0)

#define CUT_TS_ADD(suite, f1, f2) do { \
                APR_RING_ELEM_INIT(suite, link); \
                suite->sf = f1; \
                suite->tf = f2; \
                APR_RING_INSERT_TAIL(&(_cut_test->ts_head), suite, cut_ts_t, link); \               
        } while(0)

#define CUT_TC_ADD(suite, desc, f1) do { \
                cut_tc_t *tc = NULL; \
                tc = malloc(sizeof(cut_tc_t)); \
                if (tc == NULL) { \
                        return errno; \
                } \
                memset(tc, 0, sizeof(cut_tc_t)); \
                strncpy(tc->name, desc, CUT_MAX_STR_LEN); \
                tc->func = f1; \
                APR_RING_ELEM_INIT(tc, link); \
                APR_RING_INSERT_TAIL(&(suite->tc_head), tc, cut_tc_t, link); \
        } while(0)

4) CUT_TEST_RUN和CUT_TEST_REPORT
这两个宏的作用分别是运行所有逻辑单元测试中的测试用例和报告测试情况,在这里CUT_TEST_REPORT输出形式较为简单,只是打印出此次单元测试运行用例总数和失败的用例数。当然要丰富其输出形式,让用户更快更早定位哪个测试用例失败也并不难,只需对CUT的实现稍作修改即可,这里仅是抛砖引玉。具体可参见成熟的工具的输出形式,如CUnit等。
#define CUT_TEST_RUN() do { \
                cut_ts_t *ts = NULL; \
                cut_tc_t *tc = NULL; \
                APR_RING_TRAVERSE(ts, &(_cut_test->ts_head), cut_ts_t, link) { \
                        if (ts != NULL) { \
                                if (ts->sf != NULL) { \
                                        ts->sf(); \ /* execute setup func */
                                } \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                                tc->func(tc); \
                                        } \
                                } \
                                if (ts->tf != NULL) { \
                                        ts->tf(); \ /* execute teardown func */
                                } \
                        } \
                } \
        } while(0)

#define CUT_TEST_REPORT() do { \
                int ran = 0; \
                int failed = 0; \
                cut_ts_t *ts = NULL; \
                cut_tc_t *tc = NULL; \
                APR_RING_TRAVERSE(ts, &(_cut_test->ts_head), cut_ts_t, link) { \
                        if (ts != NULL) { \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                                ran++; \
                                                failed += tc->failed; \
                                        } \
                                } \
                        } \
                } \
                printf("total tc is %d, and failed tc is %d\n", ran, failed); \
        } while(0)

5) 断言集合
评价一个单元测试工具好坏的重要标准之一就是它的断言集的多寡和易用性。大部分单元测试工具都提供几十个各种各样的断言接口,我这里仅仅是举一个断言接口例子:
我们提供一个整型数判等断言接口:
void cut_int_equal(cut_case_t *tc, const int expected, const int actual, int lineno)
{
        if (expected != actual) {
                tc->failed += 1;
  /* 其他处理,如记录断言发生位置信息等 */
        }
}

这样我们就可以在我们的测试用例中这样使用了:
void tc_add(cut_case_t *tc) {
        int a = 1;
        int b = 2;
        cut_int_equal(tc, 3, add(a, b), __LINE__);
}

5、一个简单但完整的测试实例
CUT以头文件和静态库的形式发布,使用CUT只需要引用其头文件,并在链接时链接CUT的静态库即可。
在下面的例子中我们执行了两个测试用例:
#include "cut.h"
#include "my_math.h" //for add and sub interface

void my_setup() {
        printf("setup for suite\n");
}

void my_teardown() {
        printf("teardown for suite\n");
}

void tc_add(cut_case_t *tc) {
        int a = 1;
        int b = 2;
        cut_int_equal(tc, 3, add(a, b), __LINE__);
}

void tc_sub(cut_case_t *tc) {
        int a = 3;
        int b = 1;
        cut_int_equal(tc, 1, sub(a, b), __LINE__); // 会导致断言错误
}

int main() {
        cut_suite_t *suite = NULL;

        CUT_TEST_BEGIN("test with cut");

        CUT_TEST_SUITE_INIT(suite);

        CUT_TC_ADD(suite, "test tpl_addition:", tc_add);
        CUT_TC_ADD(suite, "test tpl_subtraction:", tc_sub);
        CUT_TS_ADD(suite, my_setup, my_teardown);

        CUT_TEST_RUN();

        CUT_TEST_REPORT();

        CUT_TEST_END();

        return 0;
}

测试结果:
total tc is 2, and failed tc is 1

6、小结
这里仅仅是提出一种实现C Unit Testing Framework的方案,而且仅仅是证明其可行,其离成熟的程度还远得很。我们可以从已经成熟的单元测试工具那里借鉴很多东西过来,如Test Group概念、XML配置等。改进是永无止境的,任重道远啊:)。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats