标签 Unittest 下的文章

单元测试进行曲

又是老生常谈-'单元测试',说实话自己在单元测试上是'语言上的巨人,行动上的矮子',属于那种说的比做的多的人^_^。不过也不能说什么也没做。记得去年年末的时候自己还设计并实现过一个简单的'C语言单元测试包'呢^_^,至今这个包仍然还在使用呢。不过大多数的单元测试都不像想象中那样简单,我们在介绍单元测试的时候,大多拿Add、Sub等作例子,这样当然有好处,简单易懂。其实学习单元测试初期关键是学习单元测试的思想,所以这些Add、Sub也能满足需求。不过在真正的项目中,单元测试大多做起来较为困难,我是在Unix上做C开发的,Java的咱暂先不提,也没什么资格提,虽然曾经花过一段时间专心研究过,还写过些Java学习心得,但是毕竟没做过实际的项目,说起来心里也发虚。

曾经很长一段时间,自己在编码阶段基本上都是缺少单元测试的,一是项目中Legacy代码较多,耦合太紧,想把那部分代码拿出来比'登天还难'(有点夸张),反正基本上是'一扯一大帮',俗称'一个都不能少';而是部门在这方面积淀较少,在计划的时候对这方面考虑不够,时间上也不充裕,经常是在集成测试或者系统测试的时候顺便带上单元测试了,这样的后果就是'浪费'。本来在单元测试阶段发现一个Bug需要10 minutes,拖到集成测试或者系统测试后,这个时间就可能是1 hour或者 1 day 或者更多时间,这里可不是'耸人听闻',的确有真实的事例,有过这样的经历的人都体会到其中的痛苦。

痛定思痛,自己终于觉醒了。恰好,一个新的短期项目刚刚处于开发阶段,正好是发挥单元测试的大好时机。杀开一条血路,做就是了。但是不能盲目去做。单元测试是需要设计的,而且感觉单元测试设计因系统架构模式而异,有难有易;而且单元测试设计时需要考虑项目进度、测粒度和测试密度。测试粒度,也就是说你选择多大的功能单元来作为单元测试的基本单元,是函数一级的还是模块一级的;测试密度,则是你的单元测试用例的语句覆盖度有多少了。完美的单元测试是应该覆盖程序运行的每条分支的,但是要编写出这么多的单元测试用例,其工作量我想比开发这个系统的工作量只多不少,这样一来即使你能编写出这么多用例的代码,你的Leader也会对你吼的。选择关键路径覆盖是我的选择测试密度的'标准'。我们的系统的架构是基于'队列/管道架构模式'的,这也决定了我们的单元测试较容易,根据这个特点我选择我的单元测试的力度是模块一级的。基本策略就是根据模块内的关键路径设计模块级别的单元测试用例–对我们这个系统来说具体就是造各种各样的消息,放到输入队列中即可。

我的单元测试已经进行了两天多了,效果很是明显,有些bug的发现都出乎我的意料。每当测试完一个功能模块,我会感觉对这个模块更有信心了,还有一种莫名的成就感^_^。

好的单元测试最好是能自动化,这样一旦修改了代码,可以对以前测试过的代码进行回归单元测试,保证此次修改不影响到以前已经测试过的代码的正确性。不过自动化又谈何容易?Java有很好的工具支持,可谓众星捧月;C则是孤家寡人,少有有利的工具支持。这样的话,我们就需要自己写自动化的逻辑,当然这些逻辑因系统而异,至今我也很难想出好的通用的办法,比如像Mock Test这样的测试,在C中就很难实现,我们常常以真实的情景代之,而不是使用Mock,这样就可能让不同的用例对执行顺序有一个依赖,执行顺序不一致,测试的结果可能不相同。

以上的一些经验都有一定的语言局限性,对于使用C开发的系统可能有些借鉴的意义,但是对于Java开发的系统上面的很多说法也许还是误导的,大家一定要'睁大眼睛',看清楚了^_^。单元测试仍在进行中…^_^

C单元测试包设计与实现

在Java、C++和C#等高级语言的单元测试正进行的如火如荼的时候,C好像做了看客,冷清的躲在了一个不起眼的角落里。C并不是没有单元测试工具,像Check和CUnit这样的工具也很有名气,只是和大名鼎鼎的JUnit比起来,还是显得有些英雄气短。很多大型的C项目,如APR等都没有使用像Check、CUnit这样通用的单元测试框架,而是另起炉灶自己编写。其实编写一个仅能满足单个项目需要的C单元测试工具包并非难事。在部分参考APR的ABTS的前提下,我们也来设计一套自己的简单的C语言单元测试包。

鉴于减少复杂性,我们的目标仅仅是设计和实现一套能在单进程、单线程下工作良好的C单元测试包,我们暂且将之命名为CUT – C Unit test Toolkit。
1、CUT涉及的术语解释
曾经接触过多个有名的单元测试框架如JUnit、CppUnit、TestNG等,它们在对单元测试某些概念的理解上并不是全都一样的。这里我们也有我们自己的定义。
a) 一个逻辑unit test包含至少一个或者多个suite;
b) 一个suite包含至少0或者多个test case;
c) 每个test case中至少包含1个或者多个“断言类”语句。

2、CUT预告片
其实每设计一个程序之前自己都会考虑该提供给用户怎样的东东呢?下面是应该是CUT的经典用法:
cut_ts_t *suite = NULL;

CUT_TEST_BEGIN("classic usage of CUT");

CUT_TS_INIT(suite); 
CUT_TC_ADD(suite, "test case: tc_add", tc_add);
CUT_TC_ADD(suite, "test case: tc_sub", tc_sub);
CUT_TS_ADD(suite, my_setup, my_teardown);

CUT_TEST_RUN();

CUT_TEST_REPORT();

CUT_TEST_END();

3、CUT的组织结构
从上面的经典用法中也可以看出我们的CUT的组织是这样的:
            Test
             |
             |
        +————-+
       TS-1    …  TS-N
        |                |
        |                |
   +——-+ …   +——–+
  TC-1   TC-N     TC-1     TC-N
其中:TS – Test Suite,TC – Test Case

4、CUT接口设计与实现
在“预告片”中我们已经暴露了大部分CUT的重要接口,在下面我们将伴随着实现逐一说明。另外在CUT的实现中我们使用了APR RING技术,不了解APR RING的可以参见我的上一篇Blog“APR分析-环篇”。
1) 主要数据结构
typedef void (*tc_func)(cut_tc_t *tc); /* Test Case标准原型函数指针,所有的Test Case都应该符合这个原型 */
typedef void (*fixture_func)();  /* 用于suite环境建立和拆除的func原型 */

/* Test Case数据结构 */
typedef struct cut_tc_t {
        APR_RING_ENTRY(cut_tc_t)        link;
        char                            name[CUT_MAX_STR_LEN+1];
        tc_func                         func;
        int                             failed;
} cut_tc_t;
typedef APR_RING_HEAD(cut_tc_head_t, cut_tc_t) cut_tc_head_t;

/* Test Suite数据结构 */
typedef struct cut_ts_t {
        APR_RING_ENTRY(cut_ts_t)        link;
        cut_tc_head_t                   tc_head;
        int                             failed; /* 失败用例总数 */
        int                             ran; /* 运行用例总数 */
        fixture_func                    sf; /* setup func */
        fixture_func                    tf; /* teardown func */
} cut_ts_t;
typedef APR_RING_HEAD(cut_ts_head_t, cut_ts_t) cut_ts_head_t;

/* 逻辑单元测试数据结构 */
typedef struct cut_test_t {
        char                            name[CUT_MAX_STR_LEN+1];
        cut_ts_head_t                   ts_head;
} cut_test_t;

2) CUT_TEST_BEGIN和CUT_TEST_END
这两者分别是一个逻辑Test的开始与结束。我们在CUT_TEST_BEGIN建立好我们的内部数据结构,其唯一宏参数用来加强可读性,在CUT_TEST_END中释放在测试过程中获取的系统资源。其实现如下:
#define CUT_TEST_BEGIN(desc) \
        cut_test_t *_cut_test = NULL; \
        _cut_test = malloc(sizeof(cut_test_t)); \
        if (_cut_test == NULL) { \
                return errno; \
        } \
        memset(_cut_test, 0, sizeof(cut_test_t)); \
        APR_RING_INIT(&(_cut_test->ts_head), cut_ts_t, link); \
        strncpy(_cut_test->name, desc, CUT_MAX_STR_LEN)

#define CUT_TEST_END() do { \
  /* 这里遍历Ring,释放其他相关内存,这里限于篇幅未写出 */
                if (_cut_test != NULL) { \
                        free(_cut_test); \
                } \
        } while(0)

3) CUT_TS_ADD和CUT_TC_ADD
前者负责向一逻辑单元测试中添加Test Suite,后者则负责向一个Test Suite中添加测试用例。在CUT中,每个Test Suite依赖两个Fixture Function- setup和teardown。setup用于建立测试环境,比如打开某文件,获得文件句柄供该Test Suite中的若干Test Case使用;而teardown则用来做后处理,释放setup以及在众多Test Case执行时分配的资源,比如上面关闭提到的文件句柄。

在实现CUT的Test Suite时,实际上加了一个对用户使用的限制,那就是CUT负责管理Test Suite的内存分配,说限制也好我觉得倒是给用户提供了一种方便。这两个宏的实现如下:
#define CUT_TEST_SUITE_INIT(suite) do { \
                if (suite == NULL) { \
                        suite = malloc(sizeof(cut_ts_t)); \
                        if (suite == NULL) { \
                                return errno; \
                        } \
                } \
                memset(suite, 0, sizeof(cut_ts_t)); \
                APR_RING_INIT(&(suite->tc_head), cut_tc_t, link); \
                suite->ran = 0; \
                suite->failed = 0; \
        } while(0)

#define CUT_TS_ADD(suite, f1, f2) do { \
                APR_RING_ELEM_INIT(suite, link); \
                suite->sf = f1; \
                suite->tf = f2; \
                APR_RING_INSERT_TAIL(&(_cut_test->ts_head), suite, cut_ts_t, link); \               
        } while(0)

#define CUT_TC_ADD(suite, desc, f1) do { \
                cut_tc_t *tc = NULL; \
                tc = malloc(sizeof(cut_tc_t)); \
                if (tc == NULL) { \
                        return errno; \
                } \
                memset(tc, 0, sizeof(cut_tc_t)); \
                strncpy(tc->name, desc, CUT_MAX_STR_LEN); \
                tc->func = f1; \
                APR_RING_ELEM_INIT(tc, link); \
                APR_RING_INSERT_TAIL(&(suite->tc_head), tc, cut_tc_t, link); \
        } while(0)

4) CUT_TEST_RUN和CUT_TEST_REPORT
这两个宏的作用分别是运行所有逻辑单元测试中的测试用例和报告测试情况,在这里CUT_TEST_REPORT输出形式较为简单,只是打印出此次单元测试运行用例总数和失败的用例数。当然要丰富其输出形式,让用户更快更早定位哪个测试用例失败也并不难,只需对CUT的实现稍作修改即可,这里仅是抛砖引玉。具体可参见成熟的工具的输出形式,如CUnit等。
#define CUT_TEST_RUN() do { \
                cut_ts_t *ts = NULL; \
                cut_tc_t *tc = NULL; \
                APR_RING_TRAVERSE(ts, &(_cut_test->ts_head), cut_ts_t, link) { \
                        if (ts != NULL) { \
                                if (ts->sf != NULL) { \
                                        ts->sf(); \ /* execute setup func */
                                } \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                                tc->func(tc); \
                                        } \
                                } \
                                if (ts->tf != NULL) { \
                                        ts->tf(); \ /* execute teardown func */
                                } \
                        } \
                } \
        } while(0)

#define CUT_TEST_REPORT() do { \
                int ran = 0; \
                int failed = 0; \
                cut_ts_t *ts = NULL; \
                cut_tc_t *tc = NULL; \
                APR_RING_TRAVERSE(ts, &(_cut_test->ts_head), cut_ts_t, link) { \
                        if (ts != NULL) { \
                                APR_RING_TRAVERSE(tc, &(ts->tc_head), cut_tc_t, link) { \
                                        if (tc != NULL) { \
                                                ran++; \
                                                failed += tc->failed; \
                                        } \
                                } \
                        } \
                } \
                printf("total tc is %d, and failed tc is %d\n", ran, failed); \
        } while(0)

5) 断言集合
评价一个单元测试工具好坏的重要标准之一就是它的断言集的多寡和易用性。大部分单元测试工具都提供几十个各种各样的断言接口,我这里仅仅是举一个断言接口例子:
我们提供一个整型数判等断言接口:
void cut_int_equal(cut_case_t *tc, const int expected, const int actual, int lineno)
{
        if (expected != actual) {
                tc->failed += 1;
  /* 其他处理,如记录断言发生位置信息等 */
        }
}

这样我们就可以在我们的测试用例中这样使用了:
void tc_add(cut_case_t *tc) {
        int a = 1;
        int b = 2;
        cut_int_equal(tc, 3, add(a, b), __LINE__);
}

5、一个简单但完整的测试实例
CUT以头文件和静态库的形式发布,使用CUT只需要引用其头文件,并在链接时链接CUT的静态库即可。
在下面的例子中我们执行了两个测试用例:
#include "cut.h"
#include "my_math.h" //for add and sub interface

void my_setup() {
        printf("setup for suite\n");
}

void my_teardown() {
        printf("teardown for suite\n");
}

void tc_add(cut_case_t *tc) {
        int a = 1;
        int b = 2;
        cut_int_equal(tc, 3, add(a, b), __LINE__);
}

void tc_sub(cut_case_t *tc) {
        int a = 3;
        int b = 1;
        cut_int_equal(tc, 1, sub(a, b), __LINE__); // 会导致断言错误
}

int main() {
        cut_suite_t *suite = NULL;

        CUT_TEST_BEGIN("test with cut");

        CUT_TEST_SUITE_INIT(suite);

        CUT_TC_ADD(suite, "test tpl_addition:", tc_add);
        CUT_TC_ADD(suite, "test tpl_subtraction:", tc_sub);
        CUT_TS_ADD(suite, my_setup, my_teardown);

        CUT_TEST_RUN();

        CUT_TEST_REPORT();

        CUT_TEST_END();

        return 0;
}

测试结果:
total tc is 2, and failed tc is 1

6、小结
这里仅仅是提出一种实现C Unit Testing Framework的方案,而且仅仅是证明其可行,其离成熟的程度还远得很。我们可以从已经成熟的单元测试工具那里借鉴很多东西过来,如Test Group概念、XML配置等。改进是永无止境的,任重道远啊:)。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats