标签 Python 下的文章

buildc 0.1.4版本发布

年后buildc开始逐渐在产品线的项目里应用了,随之而来的是大家反馈的各种意见和bug。尤其是bug,我都会很认真地应对,也会及时发布相应的版本修复这些bug。buildc 0.1.4版本就是一个bugfix版本,其修复的bug源于今天上午的一次持续集成的失败。

 
上午收到Jenkins发送的一个"build failed"的mail,一个安装包项目CI job执行失败了,于是到Jenkins web页面上检查错误原因。这个Job会在两个slave node上执行集成,一个在x86 linux上,一个在x86 solaris上。这次失败是因为x86 linux上的一个配置问题导致的,页面显示x86 solaris那个节点的集成是成功的。我无意间查看了x86 solaris节点集成过程的命令行输出,发现如下内容:
 
Config Make.rules OK!
Failed to execute cmd [make CMODE=64-bit], errno = [512]
Finished: SUCCESS
 
显然,构建脚本并未真正成功,但Jenkins却认为这次集成是OK的,这是怎么回事呢?难道是Jenkins有问题?为了弄清原因,我登到那个Solaris节点上,进入到Jenkins slave工作目录下的workspace中,在对应的Job目录下,手工执行了集成脚本,执行结束后,通过"echo $?"查看命令的返回值,居然是"0",也就是说执行结果是成功的,这怎么可能?明明代码中输出是"errno= [512]"。
 
为了验证问题,我编写了一个测试程序以验证代码执行是否正确:
 
# testerrno.py
 
#! /usr/bin/env python
 
import commands
import sys
 
def execute(cmd):
        o = commands.getstatusoutput(cmd)
        if o[0] != 0:
            print "Failed to execute cmd [%s], errno = [%d]” % (cmd, o[0])
            sys.exit(o[0])
        return o
 
if __name__ == '__main__':
        execute('ls -l foo')
 
由于当前目录下并未有foo文件,因此预期testerrno.py的执行结果应该是失败的,执行过程如下:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
0
 
从结果中可以看到,居然执行结果返回的真的是0。我将上述代码中的sys.exit(o[0])直接改为了sys.exit(512),我要看看究竟是怎么回事,结果执行结果又出乎我的意料:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
0
 
居然还是0。突然脑海中冒出一个思路:难道是Shell不支持512这么大的errno?于是将512改为23,再试:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
23
 
执行后得到的结果为:23。看来我的思路是正确的,那Shell支持的最大errno值究竟是多少呢?经验告诉我很可能是255。于是乎我又分别将返回值硬编码为255和256并执行之,结果当返回值为255时,echo $?的输出为255;当返回值为256时,echo $?的返回值居然变成了0,看来就是这个问题了。关于为何Python获取到的ls -l foo的执行结果为512(commands.getstatusoutput的返回结果),我没有深究,但如果手工在命令行上执行'ls -l foo',得到的返回值实际上是2,而不是512。另外我的Shell版本为:GNU bash, version 3.00.16。
 
如何修复buildc的这个问题呢?我的方法是让command.execute在执行命令出错时返回同一个指定的错误码,目前为errors.py中shell_cmd_exec_failed值。但command.execute会打印commands.getstatusoutput返回结果中的真实错误码值,两不耽误。
 
于是就有了这buildc 0.1.4版本,该版本在Python 2.4.3和Python 2.6.2下都测试OK。

为buildc添加安装包制作相关功能

在"也谈C应用安装包制作与部署"一文中,我提到了为每一个源码工程建立单独的安装包制作工程(setup project)的想法,这两天我就一直在折腾这件事儿^_^。

最初我并没有想去搞一个通用的安装包制作工具,只是为一个现有的源码工程建立了一个试验性质的安装包工程,并实现了其构建脚本(build.py)。但之后考虑到各个项目都要建立一个对应的安装包工程,安装包工程的构建脚本build.py势必会沦落成被copy来copy去的下场,这显然不是一个很好的解决问题的办法。那是否需要再单独设计和实现一个安装包制作工具呢?工具多了,大家用起来肯定会很烦,不能自找没趣^_^。要知道为程序员编写工具可是一件很困难、很头疼,需要你很谨慎的事情。现在我们已经有了源码工程构建工具buildc,我前几天还为buildc添加了安装脚本,并用之改造了一个真实的工程,并给大家做了讲解,可以说大家对buildc算是接受了。

那把安装包制作功能集成到buildc中呢?一个大胆的想法油然而生。这样做似乎扩展了原buildc的设计意图:不仅可以做源码工程的构建辅助工具,还可以用于辅助生成安装包制作工程并制作安装包,并且这样做也最大限度迎合了组织内部大家的需求,避免了日后被狠狠地拍板砖^_^。

之前的试验安装包工程的构建脚本已经实现,现在只需将其功能移植到buildc中即可。在"也谈C应用安装包制作与部署"一文中我提到了一个示例安装包工程的组织方式,其实这里的buildc所实现的安装包制作功能也是以这个安装包工程的组织方式作为前提的,不过这里又略做了些改动,示例如下:

setup_project/
      – setup.cfg
      – distributions/
         – cn-foo-2.14.0.0-x86-linux-64bit.tar.gz
      – src/
         – setup.py*
         – README
         – app/
         – env/
           – conf/
           – log/
           – bin/
           …
         – deps/
           – libs/
           – tools/
         – scripts/
           – deps_check.sh

         – others/

也就是说,buildc生成的C应用安装包工程目录组织方式就是这样的;反过来说只有这个模样的安装包工程才能使用buildc进行安装包构建。我为buildc添加了一个Command "pack"用于安装包工程相关操作,这个命令的使用方式如下:

一、安装包工程的创建
在任意路径下执行buildc pack create –project=YOUR_SETUP_PROJECT_NAME,你即可在当前目录下看到一个empty安装包工程:

$> buildc pack create –project=foo_setup
Setup project [foo_setup] create OK!
$> cd foo_setup
$> ls
distributions/  setup.cfg  src/
$> cd src; ls
$> app/  deps/  env/  others/  README  scripts/  setup.py*

二、配置安装包工程
在生成的安装包工程下面有一个配置文件setup.cfg,在使用buildc进行安装包构建之前,务必先进行该文件的配置,其内容示例如下:

distribution = {
  "packname"    : "cn-foo",
  "version"     : "2.14.0.1",
}

source = {
  "trunk"          : "svn://10.10.15.56:4444/cn/trunk/foo",
  "binary_prefix"  : "cn-foo"
}

其中:
distribution['packname'] – 最终安装包的名字前缀
distribution['version'] – 最终安装包的版本号

source['trunk'] – 该安装包工程所对应的源码工程的svn url
source['binary_prefix'] – 源码工程构建后所生成的二进制可执行文件的名字前缀

三、构建安装包
在已经配置好的安装包工程中,使用buildc pack build命令即可以进行安装包的制作,例如:

$> buildc pack build
Clean [.build] OK!
Clean [.package] OK!
Clean [./src/app] OK!
Clean [./distributions] OK!
Package distribution clean OK!
Create dir [.build] OK!
Export [svn://10.10.15.56:4444/cn/trunk/foo] OK!
Cd /home/tonybai/proj/foo_setup/.build/foo
Config Make.rules OK!
Make Ok!
Copy binary file to [/home/tonybai/proj/foo_setup/src/app] Ok!
Cd /home/tonybai/proj/foo_setup
Del [.build] OK!
Build source [svn://10.10.15.56:4444/cn/trunk/foo] OK!
Create dir [.package] OK!
Cd /home/tonybai/proj/foo_setup/.package
Generate cn-foo-2.14.0.1-x86-linux-64bit.tar OK!
Zip cn-foo-2.14.0.1-x86-linux-64bit.tar OK!
Cd /home/tonybai/proj/foo_setup
Del [.package] OK!
Make target [cn-foo-2.14.0.1-x86-linux-64bit.tar.gz] OK!

构建成功后,你会在distributions目录下看到最终的安装包。如果在buildc命令行中没有指定–tag=YOUR_SOURCE_TAG,buildc会使用setup.cfg中source['trunk']中的配置检出trunk代码并构建;如果指定了SOURCE TAG,那么buildc就会使用tag中提供的source svn url检出代码并构建,例如下面的命令将检出foo-2.14.0.2标签的代码并构建可执行程序:

$> bulidc pack build –tag=svn://10.10.15.56:4444/cn/tags/foo-2.14.0.2

四、清理安装包工程
在工程目录下,使用buildc pack clean命令可以对安装包工程进行清理:

$> buildc pack clean
Clean [.build] OK!
Clean [.package] OK!
Clean [./src/app] OK!
Clean [./distributions] OK!
Package distribution clean OK!

五、上传安装包文件
在制作完安装包后,我们一般会将其上传到一个指定的发布服务器上去。buildc提供了上传安装包的功能。使用buildc pack upload –host=HOST –user=USERNAME –passwd=PASSWD –dir=REMOTEDIR –port=FTP_PORT命令我们可以将构建完毕的安装包文件上传到远程服务器上面,例如:

$> buildc pack upload –host=10.10.1.191 –user=tony –passwd=tony –dir=dist
Cd distributions
Upload [cn-foo-2.14.0.0-x86-linux-64bit.tar.gz] OK!

BTW,在编写和使用buildc的过程中,我真实地体会到了用脚本语言源文件作为配置文件的强大,与典型的.ini或.xml等类型配置文件相比,其灵活性过之尤甚,特别是在配置文件中嵌入一些代码就可以改变配置行为,并且脚本语言提供的丰富且强大的数据结构可以充分满足你对配置文件数据组织的需求。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats