标签 GNU 下的文章

也谈C应用安装包制作与部署

虽然部门一直在做C应用,但这么多年来,在C应用的安装包制作以及部署方面做得还是很初级,可以说还没有达到规范的程度。各个产品线的C应用安装包种类多样,水平参差不齐:有些产品的源码包即是安装包,把源码包拿到生产环境下编译后使用;有的项目则将编译好的目标文件(.o)以及第三方库放在安装包中,在生产环境下重新链接生成可执行文件;有的组则稍微专业一些,安装包中放的是编译好的可执行文件,但在目标主机上安装和执行时也都遇到了一些问题,诸如运行环境中的第三方库版本号与程序所依赖的不一致等。

去年年底,我就将"C应用安装包制作和部署"的改进作为今年的一个工作重点。这两天我粗略地考量了一下这方面的内容,这里也简单地谈谈。

总的来说,摆在我们面前的有三个主要问题:
1、安装包的组织方式不规范,不统一;
2、安装包的制作方式不规范,不统一;
3、安装包的部署方法不规范,不统一;

好了,下面我们就来针对上述问题逐一说说改进思路(注意以下内容并非普适)。

一、安装包组织方式
在Linux平台上应用的标准安装包是rpm或deb,但这种安装包形式似乎不太适合我们这种C后台应用。我对rpm或deb安装包了解的不多,但印象中这类安装包的安装一般为完全安装,但我们的应用升级版本时多数为增量安装或局部替换,因此做成rpm或deb虽然看起来专业一些,但实际操作起来并不灵活,因此自定义的安装包组织方式似乎更符合我们的需求。

下面是一个安装包的组织结构样例:
INSTALL_PACKAGE/
      – install.sh
      – README
      – app/
           – foo-1.0.1*
      – env/
           – conf/
           – log/
           – bin/
           …
      – deps/
           – libs/
              – bar/
           – tools/
      – scripts/
           – deps_check.sh
           – …
      – others/

其中:
app目录下存放的是可执行文件;
env目录下存放的是可执行程序运行时所需要的目录结构,包括配置文件等;
deps目录下存放的是可执行程序运行时所依赖的第三方库以及一些工具;
scripts目录下存放的是安装包安装过程中所需要的辅助脚本;
others目录下可以存放无法在上述目录下存放的其他数据;
install.sh是总控安装脚本,可以用于在目标主机上安装app、完整安装运行时环境、安装依赖libs或工具,执行scripts下面的必要脚本。

这样的一种安装包格式比较灵活,我们可以根据需要通过install.sh安装可执行文件或某个配置文件或其他数据文件。将INSTALL_PACKAGE目录打包(.tag.gz or .zip)就得到了我们的安装包。

安装包命名是要符合一定规范的,也便于进行配置管理。一个典型的安装包命名规范:程序名-版本号-平台-操作系统-编译模式.tar.gz[.zip],例如:
foo-1.8.3-x86-linux-64bit.tar.gz
bar-2.9.3-x86-solaris-32bit.tar.gz
zoo-1.3.2-sparc-solaris-64bit.zip

二、安装包的制作方式
以往的安装包都是直接基于项目源码库构建出来的,很多运行时目录、配置文件以及辅助脚本也都与源代码存放在一起,这样一来让源码库看起来很臃肿,二来一份源码控制无法对应部署到多个不同客户现场的安装包,也就是说不同客户生产环境下的配置、数据等都是不同的,但源码库只有一个,我只能保存一份配置,因此在生成不同安装包是似乎要临时修改,且无法将这些修改做版本管理。

我的一个想法就是将安装包涉及到的相关文件和目录从源码库中剥离出来,针对每个项目源码,我都会建立若干个安装包工程,安装包则是这些工程(project)的产物,且可以针对不同客户做有针对性的安装包修改和版本管理。记得Microsoft的Visual Studio就有单独的安装包制作工程模板,这里也算借鉴Visual Studio中安装包工程的思想了^_^。

下面是一个安装包工程的示例:
foo_INSTALL_Proj/
      – Makefile
      – distributions/
         – foo-2.9.3-x86-linux-64bit.tar.gz
      – src/
         – install.sh
         – README
         – app/
         – env/
           – conf/
           – log/
           – fifo/
           – bin/
           …
         – deps/
           – libs/
           – tools/
         – scripts/
           – deps_check.sh

         – others/
其中src下面的内容就是上面提到的安装包的组织,通过安装包工程我们就可以灵活控制安装包中的每一个元素,而对源码没有任何影响。

三、安装包的安装模式
有了前面两个问题解决作为铺垫,这个问题就很好办了。我们的应用大致有两种安装模式:本地安装和远程安装,实际上也是一回事。本地安装就是手工将安装包放在某个目标主机上,然后解压,并利用安装包中的install.sh来安装需要的文件;而远程安装多半是用远程控制工具将安装包上传到目标主机(可能是多台),并通过远程命令在远程主机上执行本地安装。

这里想到的一个改进就是在目标环境中部署应用前,首先执行一次部署约束检查,检查目标环境是否满足新应用部署和运行的约束条件。这在以前的部署步骤中是没有的,约束检测脚本可随安装包携带,比如放在scripts目录下。

总之,规范化的安装包组织形式、制作方式以及部署方式不仅是一种专业化的表现,它与一些自动化工具的结合还会促进团队或组织整体效率的提升

也谈C语言应用构建

构建是软件开发过程中最常见的活动之一,也是很容易被忽视的环节。规范以及高效的构建对软件开发过程而言是大有裨益的。C语言并非一门年轻的语言,其历史已甚为悠久了(相对于还年轻的IT领域^_^)。从C语言诞生以来,市面上存在的C语言应用何止千千万万。这些C应用的源码组织形式种类万千,从最简单的单个源文件,到复杂的诸如Apache httpd server这样庞大的Project。不过无论这些C应用的源码组织形态如何,构建都是这些应用开发过程中必不可少的一步。

伴随着C语言的普及,C语言应用的构建工具也逐渐发展起来,随着Project构建复杂性的增加,大致可分为四个阶段(个人观点):
* 命令行构建
对于简单应用来说,其源文件数量一般较少,且可能都放在一个同目录下,构建这样的工程的最简单的方法就是直接在命令行上输入编译命令(诸如gcc -o foo foo.c bar.c)。这种方式在C诞生早期的简单应用或对于刚刚C入门朋友来说是最常见的。

* make工具
随着Project复杂程度的增加,使用命令行编译构建的难度日益加大,大家开始使用make工具。make工具的实质是帮助项目管理依赖关系。C应用构建的最终目标一般都是一个可执行文件,该文件一般是由所有源文件的目标文件以及依赖的第三方库链接后生成的,也就是说该文件依赖项目源文件的目标文件以及第三方库。我们可以将这种依赖关系用make工具指定的专用语法描述出来,形成Makefile文件。后续我们如果要构建该Project,只需敲入make即可。make工具会自动分析Makefile中的依赖关系,并执行依赖关系对应的命令,并最终完成构建。

* autotools
虽然make工具很好地解决了复杂Project的构建问题,但make本身的学习曲线也是很陡峭的,也就是说要为一个复杂的C应用编写Makefile脚本并非易事,特别是复杂Project中那更为复杂的依赖关系,可以让任一一个程序员望而却步。大家都看到了这一点,因此就有了autotools工具集的诞生。autotools工具集由autoconf、autoheader、automake和libtool等工具组成,其主要目标就是简化项目Makefile的编写。使用autotools,我们可以为C应用的Project自动生成Makefile,这显然是一个很大的进步,对于复杂的Project尤甚。

* 新兴的通用构建工具
虽然autotools的出现解决了一些C应用构建难的问题,但autotools自身使用起来也是略显复杂的。特别是它由若干工具组成,并需要这些工具一起配合才能完成一个Project的Makefile的编写和生成,学习这些工具本身也要耗费很多时间。随着一些脚本语言的流行,一些新兴的通用构建工具逐渐出现在大家的视线中,诸如Scons、rake等。这些新工具吸取了make等门槛较高、不易用的教训,利用脚本语言特有的性质打造出了更加简单易用的构建脚本,现在很多C应用都开始使用这些工具简化构建脚本编写了。

究竟是使用哪种构建工具,这还是取决于项目所处的"环境",包括项目的复杂性,人员的平均技能水准等等。但有了构建工具还不足矣,我们再来看看关于C语言应用构建还有哪些应该关注的地方。

一、规范化项目源码组织
项目的源码组织是应该先于构建脚本实现的,因此良好的项目源码组织也有助于构建脚本的编写,同时也有利于组织内部的标准化和复用。但C应用的源码组织的确没有统一的标准,也没有最好可言,也许只有适不适合。下面就是我们所使用的一个典型的C应用(非公共库)源码组织示例:

Foo_proj/
    – Makefile
    – sub_proj1/
        – Make.rules(由buildc生成)
        – Makefile
        – include/
        – module1/
            – xx.c
            – Makefile
            – tests/
                – xx_test.c
                – Makefile
        – module2/
            … …
    – sub_proj2
        – Make.rules(由buildc生成)
        – Makefile
        – include/
        – module1/
            – xx.c
            – Makefile
            – tests/
                – xx_test.c
                – Makefile
 … …

针对这个示例有几个注意事项要说明一下:
a)
以前在很多Project中,都会包含一个顶层的(toplevel)Make.rules,这样的设计考虑无非是希望项目下的其他sub_proj可以复用该Make.rules,这看起来似乎方便了。但实际这样做是在各个子项目间建立了一层构建耦合关系:很多子项目都有个性化的构建需求,这样一来可能会频繁对该顶层Make.rules进行修改;或是当无法修改顶层Make.rules时子项目还是会在自己下面增加一个子Make.rules以满足构建的个性化需求。我们莫不如去掉顶层Make.rules,而在各个子项目中添加自己的Make.rules。特别是在有了buildc工具以后,每个子项目下的Make.rules都是自动生成的,这样不但不会增加太多的额外工作量,还从根本上去除了子项目间的一种耦合,完全可满足sub_proj的个性化的构建需求。

b) 顶层的Makefile依旧保留,一般作为一键构建整个项目时之用。顶层的Makefile实际来看就是将各个sub_proj串接起来,再说白些,就是遍历的调用各个sub_proj下的Makefile。

c) 针对每个module的单元测试代码与被测试的module代码存放在一起(比如放在module下面的tests目录下),这样使得被测对象与测试代码物理上接近,易于源码的测试,同时逻辑上看也很紧凑。

二、构建执行的简单和高效
构建是一个频繁的日常开发活动,简单和高效是IT开发者对"构建"活动的两个基本要求。所谓"简单"就是尽量不让或少让我动手,懒惰的程序员们最多只是希望敲入一个命令就可以完成项目的所有构建,这就是我们所说的"一键化"。一键化从另一个角度来说也是一种"高效",但"高效"更重要的含义则是指尽量缩短构建的时间。要想做到这点,一是需要一个清晰明了的构建脚本实现,把项目内部的各种依赖关系打理清楚,只作必要依赖,减少不必要的重复构建;第二则是选择一款高性能的构建工具,目前来看make本身的性能还是很棒的,一般来说还是强于scons这样以动态脚本语言实现的工具的,特别是再加上并行编译和分布式编译后,构建时间将大大缩短。

三、第三方依赖包的管理
在开源软件大行其道的今天,很多商业项目都或多或少的用到一些开源包,即使没有用到开源包,组织内部也可能存在项目间相互依赖的情况,比如:业务部门的应用很可能依赖基础研发部门提供的通用库,这样就出现了一个第三方依赖的管理的问题,这也是我们在进行构建设计过程中所不可忽视的一个重要方面。

关于第三方依赖包的管理,至少我是见识过如下几种方式:

* 将第三方依赖包的源码导入到你的项目,伴随项目一并构建
这样做的好处之一就是完整:大家在构建项目时无需东找西寻,依赖的代码就在项目库中。好处之二是便于一键构建,依赖包的源码就在项目中,可以任你"宰割";第三则是便于在不同平台上移植,因为直接存储了源码,在每个平台都是依据所在的平台构建对应的版本。

不足之处:这样做会导致项目代码库庞大,构建时间漫长;另外也不便于第三方依赖包的更新升级。一旦第三方依赖包有bugfix或新feature,你可能需要手动的同步代码。一旦依赖的第三方包有很多的话,这可是一笔不小的工作量;最后每个项目都单独存储一份第三方依赖包会导致大量重复,重复可并不是一个好味道。

* 将第三方依赖包构建后的二进制文件放入项目代码库
这样做的好处在于提高了构建效率,节省了第三方依赖库自身的构建时间。但这样做的不足之处依然很多,直接存储源码方式的大多数不足都被该方式继承了下来,除此之外,这种方式还会导致在不同平台上构建难度的增加(不同平台上的包的二进制文件是不同的)。

* 对第三方依赖包进行集中单独管理
将各个项目所使用的第三方依赖库做统一集中管理,而不是放在每个项目中,并且只存储构建后的二进制文件而非源码。组织形式示例见下面:

3rds/
      – libevent/
           – 2.0.10/
              – README
              – source_code_package
              – sparc_32_solaris/
    - include/
    - lib/
              – sparc_64_solaris/
              – x86_64_solaris/
              – x86_64_linux/
           … …
      – netsnmp/
      … …

这种"分门别类"的第三方依赖包集中管理方式既有利于加速构建过程(直接用二进制,省下源码编译),同时也便于依赖包的统一升级和管理(专人负责,通过版本号区分)。这种第三方依赖包的管理方式也是使用buildc构建辅助工具的前提。这种方式也是有缺点的,那就是需要有专人负责对该公共库进行管理,包括新版二进制包的制作与上传。

至于在具体项目中究竟采用哪种方式还需要根据project的具体情况作出权衡,如果你依赖的第三方包较小且很少,那方式一很适合,redis就是这么做的;如果你不要支持多平台,那么第二种方式也可行;对于组织而言,似乎第三种方式是规范、统一和一致的,这也是我推荐的方式。

四、适于与第三方工具集成
持续集成是公认的优秀实践,市面上有很多优秀的ci工具。持续集成的第一步就是构建,因此一个好的工程构建是应该能与ci工具很好结合在一起的,也就是说要充分考虑构建脚本与ci工具的结合。

一般来说持续集成工具判断成败与否的根据就是你委托ci工具执行的脚本的返回值。对于C应用构建过程来说,一般是make的返回值。0即成功,其他均为失败。对于单元测试用例的执行过程而言,也同样是此道理。C的单元测试集实际上就是一个个可执行程序,每个程序的返回值都是需要认真考量的,不能随意。如果你使用类似lcut这样的框架工具,你就完全可以通过框架工具来帮你完成用例执行返回值的设定。

良好的项目构建设计是项目迈向成功的重要一步。在日常开发工作中我们不仅仅要关注软件开发过程中的"前段",比如需求、设计和编码;对"后段"的一些活动,诸如构建、测试和部署也要给予足够的关注。以上所讲仅是经验之谈,谈不上绝对正确,因为关于C应用构建的资料相对较少,也没有统一的标准,这里权当抛砖引玉了。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats