一切没有目标的努力，都是瞎忙活儿。
                                                    - Tony Bai

刚实施回来，就又投入到新工作中，到今天才有那么一点点时间写写这件事儿。

* 缘起

我们的遗留系统性能一直不高，导致这一局面的因素有很多，比如最初设计和实现的“考虑不足”、后续维护人员的“随波逐流”甚至缺少勇气对影响性能的关 键代码进行重构等等。技术债务就这样一直积累着。直到两年前，我们终见其导致的巨大的影响了。

由于客户方成本压缩，单节点性能低意味着需要更多的硬件投入，并连带着报价升高，导致我们的产品市场竞争力下降。而竞争对手产品的性能是我们的 3-5倍，这终于引起了领导的重视，并下达了开发高性能版本的任务命令。

* 抉择

遗留系统的问题有很多，性能差仅仅是表象之一。可维护性差更让人印象深刻。遗留系统就像一件打满补丁的旧衣裳，虽然依旧能穿着遮体御寒，但却让我 们时刻战战兢兢，生怕一个动作会导致它解体，变得支离破碎。

对于我们这样一个mission-critical的系统来说，开发周期显然是不会短的。在性能达标的同时，更为重要的是保证产品的质量，确保上 线后运行稳定。因此摆在我们面前有两条路：
    1、在遗留系统上做“大修” – 大规模重构；
    2、重写，把构成系统的骨架重新设计和实现，使它能够足够坚固，满足在“高速公路”上驰骋的要求。

我们最终选择了重写，也就是风险较大的那条路。在我们的理解中，重写软件就好比汽车升级平台，就像大众将传统的PQ25、PQ35等统统升级为 MQB平台那样。平台的升级，不光影响技术，还会影响方方面面，比如团队的能力、思维方式、合作模式以及团队过程改善等等。做 得好的话，会使整个团队迈上一个新台阶，这是原地修补所不能够带来的。

对于我个人来说，这也是我期望中的实验田，我将把之前研究的诸多实践落地，帮助团队提升能力。

自私地说，重写系统也是我的一个小理想，能遇到这样一个从无到有构建一个系统的机会是不多的，因此很是希望能看到一个系统一点一点的在自己的呵护 下“成长”起来。虽然我也清楚完成这样一个系统需要很长时间，而这期间我可能需要时刻紧绷着神经，直到系统正式上线后，才能感受到那一抹释然。

* 建立“骨架(skeleton)”

我们将项目分成两个阶段：建立系统“骨架”和为系统“添肉”，即添加业务逻辑。

系统的性能目标是原遗留系统的10倍，这样我们建立的骨架的性能至少要高于原遗留系统的10倍。在“添肉”之前我们要充分证明骨架的设计是合理、 有效、稳定和高性能的。

遗留系统性能低，并非因为当初的设计者能力有什么问题，更多是局限于当初的设计目标。系统初期业务量不大，接入的外部网元不多，因此系统大量使用 了链表这种简单但低效的数据结构；为了easy coding，当初的设计者选择了全局大锁；在客户端-服务器处理模型上，选择了一个连接一个进程的“高耗能”模式。最初这样的设计应对当年的业务量也是 绰绰有余的，但应付今天的业务规模就显得颇为捉襟见肘了，以至于我们不得不通过罗列机器来满足业务增长的状况。服务器增多，却导致了我们维护 和监控难度的增加。

为了应付现有业务量规模以及未来若干年的业务量增长，我们的新系统的骨架在设计时显然要扬长避短：
    – 我们重新设计了通用的服务端框架和客户端框架，使得系统各个业务模块采用相同的通信处理机制；
    – 我们没有选择线程，而是依旧采用成熟的进程（资源隔离式） + IO多路复用（linux下epoll机制）的服务器-客户端模型，与以往不同的是，我们在每个进程中处理多个链接，设定进程数量在合理水平，避免大量上下文切换带来的性能损耗；
    – 将传统的全局big lock更换成了细粒度锁；
    – 采用高效的数据结构和算法，比如用hash和array替代掉list等；
    – 用简单队列替换掉原先复杂的队列调度结构，降低代码理解难度和后续维护门槛。
    – … …

我们要求对骨架代码进行严格的单元测试，通过lcut为骨架代码建立起单元测试集，并结合持续集成对骨架代码进行持续的单元测试验证。

骨架完成后，我们对其进行了全面的压力测试，确保其性能水平达到我们设计要求，这是我们进入下一阶段的前提条件。

* 添肉(business logic)

有了稳定、可靠、高效的骨架，我们在”添肉“阶段就更加有信心了。用C写纯业务逻辑是苦逼了一些，但还好我们没有全部将以前遗留代码扔掉，我们为了保证功 能Feature不丢失，我们会尽量复用之前的业务逻辑，当然是“规范地”搬到新系统中的，尽可能地去除原有代码中的Bad smell。

与骨架相比，业务逻辑相对复杂，且耦合较多，因此对这些业务逻辑做单元测试真是一件让人头疼的事情。不过这也和我们最初的估计相符，最初制定的策略就是对骨架代码做高覆盖，对业务代码则宽松些，尽量覆盖即可。

* 附加实践

就像前面所说的那样，围绕着这次重写系统，我策划了很多实践有了落脚之地，包括：
    – 试点知识管理 ：通过这次重写，建立起关于该系统的知识库；
    – 增加基于ReviewBoard的在线代码评审环节；
    – 引入基于Jenkins的持续集成；
    – 重新思考和设计构建环节，通过buildc提高构建效率；
    – 重新设计通用安装包；
    – 使用LCUT对骨架进行单元测试覆盖；
    – 规范commit log以及代码提交流程；
    – 应用代码风格检查工具，使得所有代码风格一致。

事实证明上述实践在这次系统重写的过程中产生了很好的效果，尤其在代码质量保证方面，系统上线后的结果也恰恰印证了这一点。

* 上线

“丑媳妇总要见公婆”。我们的新系统也到了该上线服务的时候了。为了这次上线，我们做了较为充分的实施准备，无论是人员还是时间，都有倾向性的向这个系统 投入。我们也提前做好了应对各种突发问题的预案。可实际情况出乎预料，与遗留系统的版本升级相比，这次全新系统上线显得十分顺利，系统的核心相当稳定，出 现的一些问题也都比较边缘，对这次成功上线已经不构成什么影响了。

* 那一抹释然

在实施人员庆贺上线成功时，在领导口头表扬时，我的内心却显得十分平静。对于新系统来说，这是一个好的开始。对我个人来说，我感受到了那一抹期望已久的释 然。在这个领域里这个方向上已经摸爬滾打了多年，虽然还有好多地方需要改进，好多实践需要完善，但我的内心告诉我：“够了”、“已经没什么牵挂了”、“是 时候换换方向、换换领域了”、“让其他人去做吧”。我已经在产品和团队中融入了我的思想，我相信他们都能很好的演化和发展。而我则为接受新思想、新领域做 好了准备。

的确也到了为自己设立新目标的时候了！


“安德来了之后，我们必段保持一个巧妙的平衡。要让他保持一定程度的孤立，使他创造性不至于消失，否则他就会和这儿的整个团体融合在一起，我们会失去他的天赋。同时，我们也必须确定他有足够的能力去领导别人。”
                                                                    — 《安德的游戏》作者：奥森·斯科特·卡德

上面的引述是《安德的游戏》一书中安德刚进入战斗学校时，格拉夫中校与安德森的对话中的一段内容。这段文字显然触动了我的神经，因为在现实的生活和工作中，我也有与格拉夫中校相似的体会。

* 团队就像一个大熔炉

以前听说过军队就是一个大熔炉，再烂的材料似乎都能被锻炼成精兵。有一定道理，但我们也看到了子弟兵们的“歪风邪气”，想必也是熔炉锻造的结果了。也就是 说熔炉将材料的属性，无论好与坏都或多或少的在每个个体上有所体现了。这样一来，如果原料都是优质的，优点通过团队这个熔炉就能充分传播，形成优良的团队 作风和习惯。相反，优劣程度不一的材料经过熔炉的锻造，最终结果是谁的属性站了上风，那就要看谁的属性更加强势了。但由于人的惰性、喜欢安逸等与生俱来的 “特点”，人更容易选择“下坡路“。这好似地球上的风，起到削峰填谷的作用，在外界条件一成不变的情况下，团队走向“平庸”，优秀成员的创造力渐渐萎靡， 思维之火花逐渐熄灭。创造力变成了墨守成规，因循守旧和固步自封。就像安德眼中的战斗学校中的一些战队和指挥官那样。

* 站在第三方的视角观察团队运作与成员创造力

“不知庐山真面目，只缘身在此山中”。很多时候，由于深处团队之内，团队的Leader也往往无法发现团队中正在发生的负面变化 – 逐渐失去创造力，渐渐地不再有新点子、新想法、新工具，新实践。大家也许依旧忙碌，但总感觉缺点啥。要想发现这些变化，团队Leader或成员要学会跳出 圈圈，去站在第三方的视角观察团队运作，嗅一嗅团队内部发酵出来的bad smell。就像书中天才少年安德那样在每次战斗比赛结束后或旁观时，都会站在敌方的角度去分析战斗策略应用是否得当。另外识别出团队内那些善于发挥创造 力的成员是十分重要的，他们是团队的火车头，他们引领着团队的前进步伐，他们的发挥决定着团队的先进性。就像书中的阿莱、比恩、丁.米克等人那样。

* 主动为创造力的保持制造空间、寻找平衡

在影视剧或现实生活中都有这样的案例：那些秉复异常，极具创造力的家伙往往无视规矩，独来独往，与团队看起来并非那么和谐默契。现在看来这是他们自己建立 的一种自我空间，他们可能站得更高，看得更远，不愿经历“团队熔炉”锤炼而丧失部分自我，尤其是其独辟奚静，与现存习惯不符或相悖的创造思维，他们要与团 队保持一定距离，走在团队的前面。而我们的确需要这样的人。

书中格拉夫中校是一位懂得主动为创造力的保持制造空间和寻找平衡的好伯乐，甚至在安德未进入战斗学校之前就定下了教学策略：让安德保持一定的孤立，以保持 其创造性。他是每个团队Leader都应该学习的榜样。对于团队内那些具有创造力的组员，我们要主动给他们提供创新萌芽的空间和土壤，尽量保证不要被团队 的某些Bad smell侵入，让创造展现出原汁原味。

在崇尚“团队合作”的今天，一切有悖团队习惯的行为可能都会被认为是不专业的、不胜任的。提出一个打破团队“习惯”的所谓创造性实践，很可能会被认为对团 队以及团队领导的挑衅，导致团队内部出现裂痕。这更需要我们学会主动在创新和团队之间寻找平衡，去化解团队内部的不信任和猜疑。让团队看到创新的威力，让 创新更多结合团队的实际情况。

* 重构团队

有些时候，我们需要牺牲团队，保持创造。那些无丝毫创造力的团队就像活锁(livelock)一般，大家都在忙，但make no progress。对于这类团队，应该施加一定的外部条件，打破团队“和谐”的状态。也许重构是一个很好的办法。将那些之前富有创造力但“彻底融入”团队 的成员分离出来，给予独立空间，尝试重新激活。至于其余成员，打乱重组未尝不是一个好方法。

这篇文章可能会引发争议。就像格拉夫对安德的训练方法那样，有赞成，也有恶评。