上午对一段代码进行单元测试，由于需要用到mock，所以选择使用cmockery
作为Unit Testing框架(lcut还未提供mock功能)。测试代码里需要mock malloc以模拟分配内存失败的异常情况。

编写一个用例后，Build，提示出错：multiple definition of `malloc'。经检查发现Makefile中定义mock malloc的那个目标文件(.o文件)居然被link了两次，类似于下面的这种错误情形：
$ gcc testmain.c malloc.o malloc.o
malloc.o: In function `malloc':
malloc.c:(.text+0×0): multiple definition of `malloc'
malloc.o:malloc.c:(.text+0×0): first defined here
collect2: ld returned 1 exit status

去掉一个显式链接的malloc.o文件后Build顺利通过，运行该单元测试，程序dump core，对此很是疑惑！使用gdb查看core文件，很快发现了问题所在：因为cmockery本身也使用了malloc，但在链接过程中，cmockery库中的malloc符号被绑定到了malloc.c中的那个malloc实现上了，而我们mock的那个malloc在测试用例中又被设置返回NULL，这样非法地址访问就不足为奇了。

对以上两个问题的理解或多或少都需要一些链接方面的知识，这里你可能会问到以下两个问题：
1、C运行库(libc.a)是要被作为默认库隐式提供给ld程序做链接的，那么用自己实现的malloc替代C标准库中的malloc，链接器在链接时为什么没有检查出重定义？
2、cmockery库中的malloc是如何绑定到我们自己实现的那个malloc上的呢？为什么不绑定到C运行库中的那个malloc？

从问题内容我们也似乎可隐约推论出一点：那就是链接器对目标文件(.o)和归档文件(.a)的对待似乎是不同的。没错，的确是这样的。

可执行程序是由一系列.o文件“合并”而成。以静态链接为例，.o文件集合中除了包含我们显式(.c->.o)提供的.o文件外，还有从归档文件(.a)中提取出来的.o文件。这类.o文件是“按需”从.a中提取出来的，这也符合.a文件最初设计的初衷(减少可执行文件的size + 减少可执行文件load到内存后的内存占用)。

我们用一个的例子来解释.o文件“按需”从.a中提取的过程，也顺便回答上面的两个问题。
我们有三个源文件testmain.c、print.c和libprint.c，三个文件都很简单：
/* testmain.c */
extern void print();

int main() {
    print();
    return 0;
}

/* print.c */
#include
void print() {
    printf("print in object files\n");
}

/* libprint.c */
#include
void print() {
    printf("print in archive files\n");
}
我们将libprint.c构建为一个.a文件(gcc -c libprint.c; ar rcs libprint.a libprint.o)，用于模拟库中的符号。print.c中的print则是我们自定义函数，试图用来替换库中同名函数。

执行gcc testmain.c print.c -L ./ -lprint，编译顺利通过。执行a.out，输出“print in object files”。显然testmain.c中的print调用被绑定到print.o中的print函数了。分析这个编译链接过程，我们就能回答上面的两个问题了。

我们知道gcc只是一组gnu compile tools的外部名称，gcc像个指挥官，协调一系列tools去完成任务。其中链接是最后一环，ld的输入是.o文件和.a文件。以这个例子来说，最后一步执行的是ld testmain.o print.o -L ./ -lprint …..，其中…..代表的是默认传入的C运行库。链接器从左向右扫描命令行参数中的.o和.a，目的是确定最终.o集合以及为每个.o中的外部符号(引用了但是未在本.o文件中定义)确定具体定义的位置。

链接器依从左到右顺序首先扫描testmain.o，将testmain.o加入到"最终.o文件集合"(初始该集合为空)，并发现testmain.o中引用了符号print，但却未定义，将该符号放到"undefined集合"中（初始"undefined集合"为空），另外testmain中还有一个符号main，与print不同，该符号为已定义的符号，同样链接器将之放到"defined集合"中(初始"defined集合"为空)。

继续从左向右扫描，轮到print.o这个目标文件了。该文件中有一个已定义的符号print和一个引用但未定义的外部符号printf，链接器的处理过程是：发现print是当前"undefined集合"中的元素，将print从"undefined集合"中取出，放入"defined集合"中; printf因无法确定定义，放入"undefined集合"，print.o放入"最终.o文件集合"。

继续向右扫描，遇到libprint.a。上面说过链接器对待.a与.o不同，.a中的符号是按需提取，这里的“按需”指的就是"undefined集合"中的符号。当前"undefined集合"中只有一个元素：printf，链接器尝试在libprint.a中查找printf的定义，未果。则链接器略过libprint.a，继续向右扫描。

最后剩下的就是libc.a了，也就是默认传递的C运行库。libc.a中包含了成百上千个.o文件。但目前只剩下printf一个符号没有得到定义了，我们只需要libc.a中包含printf符号定义的那个.o文件，也就是print.o，链接器找到print.o后将print.o放入"最终.o文件集合"，将printf符号从"undefined集合"挪到"defined集合"中，此致"undefined集合"变为空集合了。也就说明这次链接是成功的。

相信上面的两个问题通过这段过程描述已经可以被解释了。

如果我们将构建语句写为:gcc testmain.c -L./ -lprint print.c会发生什么呢？我们看看执行结果：
/tmp/ccSNKvLP.o: In function `print':
print.c:(.text+0×0): multiple definition of `print'
.//libprint.a(libprint.o):libprint.c:(.text+0×0): first defined here
collect2: ld returned 1 exit status

出现重定义错误！不过有了之前的基础，这里的重定义也很好理解了。gcc testmain.c -L./ -lprint print.c执行到最后一步是ld testmain.o -L./ -lprint print.o ….; 链接器扫描完libprint.a后，print的符号已经从libprint.a中的libprint.o目标文件中被"按需"提取出来放入"defined集合"中了。接下来链接器扫描print.o居然又发现了一个名为print的全局定义的符号，与"defined集合"中冲突，ld自然就会报错。

我们再来做点修改，构造一个稍微复杂些的例子：
/* testmain.c */
extern void do_print();

int main() {
    do_print();
    return 0;
}

/* print.c */
#include
void print() {
    printf("print in object files\n");
}

/* libprint.c */
#include
void print();
void do_print() {
    print();
}

void print() {
    printf("print in archive files\n");
}
在testmain.c中我们换作调用do_print了，do_print在libprint.a中有定义。执行gcc testmain.c print.c -L ./ -lprint，结果出错：
.//libprint.a(libprint.o): In function `print':
libprint.c:(.text+0xd): multiple definition of `print'
/tmp/ccoWjHZS.o:print.c:(.text+0×0): first defined here
collect2: ld returned 1 exit status

这回怎么又变成“重定义”了呢？我们来分析一下：
*扫描testmain.o，"undefined集合"中有了符号do_print;
*扫描print.o，"undefined集合"未变，"defined集合"中增加了print
*碰到libprint.a，按照"按需"提取的原则，我们找到了do_print定义，"undefined集合"中的do_print被移到"defined集合"，libprint.a中的libprint.o被放置到"最终.o文件集合"中;与前面例子不同的是libprint.o中有两个符号do_print和print，作为"最终.o文件集合"中的一分子，libprint.o的地位与testmain.o和print.o是一致的，链接器需要扫描其全部内容，而不仅仅只是提取do_print，这样链接器又发现一个print的定义，与"defined集合"中的print符号重复，链接器报错！

如果要进一步了解链接器相关内容的话，推荐阅读一下下面几本书籍：
1、《链接器与加载器》
2、《深入理解计算机系统》
3、国人总结性质的大作《程序员的自我修养–链接、装载与库》

昨天看了“外刊IT评论”上的一篇名为《软件编程21法则》的文章，文章中提到的一条法则是：“软件直到被变成产品运行至少6个月后，它最严重的问题才会被发现”，当时表示认同。不过仅仅相隔一天，这条法则就变成了眼前的现实。

今天上午我们的某版本系统在某省出现了故障，该版本在这个省上线恰好将近6个月^_^，系统上线以来一直运行良好，直到这次故障。故障现象为"挂死":所有进程都挂死在某一把锁的lock上。以前出现这种情况多为某个进程加锁后，在锁内异常退出，未能释放锁而导致其他进程挂死。这种"挂死"多是代码中访问非法内存地址导致的，一般都会有core文件dump出来。不过这次出现挂死后，我们并未找到core文件的影子。查看系统运行日志也无果。通过脚本将所有该应用的子进程的运行栈快照收集到一个文件中，然后对这个数据庞大的文件进行分析，以试图找到一些蛛丝马迹。

分析发现绝大多数子进程都挂起了，其运行栈栈顶多为：
lwp_mutex_timedlock (f1444c28, 0)

不过只有一个进程与众不同，它的栈顶是一个我们自己实现的函数，这里暂且称这个函数为foo_func吧。迅速查看foo_func的源码实现，发现一个while循环，第一时间想到:是不是foo_func进入while死循环了？在故障应用主机上用top查看一下系统运行状态，发现确有一个进程占用cpu很高，而且持续很高。pstack一下这个进程，栈顶端果真就是foo_func，“死循环”的推论是正确的。 即使这个进程死循环了，怎么会连累其他进程也停止工作了呢？原因就在于这个死循环是在这个子进程获得锁之后发生的，因为死循环了，导致无法释放这把锁，其他子进程干着急也无可奈何！

foo_func为何能进入死循环？仔细斟酌一下foo_func的代码也不难得出：代码中混用了int和unsigned char，导致数组下标值变为负数，数组访问溢出，读取到的值是随机值，所以死循环也是随机发生的（之前几个月运行都良好也是因为这个原因）。 C语言不是强类型的，int和unsigned char两个宽度不同的类型可以放在一起使用。C编译器帮你做隐式转换，转换规则虽不十分复杂（C99引入了rank概念后，转换规则略就显复杂了），但也很容易犯错，这也是我们常说的C陷阱之一。另外foo_func代码本身的功能逻辑也有漏洞，这里就不细说了。