标签 持续集成 下的文章

buildc 0.1.4版本发布

年后buildc开始逐渐在产品线的项目里应用了,随之而来的是大家反馈的各种意见和bug。尤其是bug,我都会很认真地应对,也会及时发布相应的版本修复这些bug。buildc 0.1.4版本就是一个bugfix版本,其修复的bug源于今天上午的一次持续集成的失败。

 
上午收到Jenkins发送的一个"build failed"的mail,一个安装包项目CI job执行失败了,于是到Jenkins web页面上检查错误原因。这个Job会在两个slave node上执行集成,一个在x86 linux上,一个在x86 solaris上。这次失败是因为x86 linux上的一个配置问题导致的,页面显示x86 solaris那个节点的集成是成功的。我无意间查看了x86 solaris节点集成过程的命令行输出,发现如下内容:
 
Config Make.rules OK!
Failed to execute cmd [make CMODE=64-bit], errno = [512]
Finished: SUCCESS
 
显然,构建脚本并未真正成功,但Jenkins却认为这次集成是OK的,这是怎么回事呢?难道是Jenkins有问题?为了弄清原因,我登到那个Solaris节点上,进入到Jenkins slave工作目录下的workspace中,在对应的Job目录下,手工执行了集成脚本,执行结束后,通过"echo $?"查看命令的返回值,居然是"0",也就是说执行结果是成功的,这怎么可能?明明代码中输出是"errno= [512]"。
 
为了验证问题,我编写了一个测试程序以验证代码执行是否正确:
 
# testerrno.py
 
#! /usr/bin/env python
 
import commands
import sys
 
def execute(cmd):
        o = commands.getstatusoutput(cmd)
        if o[0] != 0:
            print "Failed to execute cmd [%s], errno = [%d]” % (cmd, o[0])
            sys.exit(o[0])
        return o
 
if __name__ == '__main__':
        execute('ls -l foo')
 
由于当前目录下并未有foo文件,因此预期testerrno.py的执行结果应该是失败的,执行过程如下:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
0
 
从结果中可以看到,居然执行结果返回的真的是0。我将上述代码中的sys.exit(o[0])直接改为了sys.exit(512),我要看看究竟是怎么回事,结果执行结果又出乎我的意料:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
0
 
居然还是0。突然脑海中冒出一个思路:难道是Shell不支持512这么大的errno?于是将512改为23,再试:
 
$> testerrno.py
Failed to execute cmd [ls -l foo], errno = [512]
$> echo $?
23
 
执行后得到的结果为:23。看来我的思路是正确的,那Shell支持的最大errno值究竟是多少呢?经验告诉我很可能是255。于是乎我又分别将返回值硬编码为255和256并执行之,结果当返回值为255时,echo $?的输出为255;当返回值为256时,echo $?的返回值居然变成了0,看来就是这个问题了。关于为何Python获取到的ls -l foo的执行结果为512(commands.getstatusoutput的返回结果),我没有深究,但如果手工在命令行上执行'ls -l foo',得到的返回值实际上是2,而不是512。另外我的Shell版本为:GNU bash, version 3.00.16。
 
如何修复buildc的这个问题呢?我的方法是让command.execute在执行命令出错时返回同一个指定的错误码,目前为errors.py中shell_cmd_exec_failed值。但command.execute会打印commands.getstatusoutput返回结果中的真实错误码值,两不耽误。
 
于是就有了这buildc 0.1.4版本,该版本在Python 2.4.3和Python 2.6.2下都测试OK。

使用Jenkins实现多平台并行集成

我们的后端C应用都是支持跨平台的,至少目前在LinuxSolaris上运行是没有问题的,这样一来我们在配置持续集成环境时就要考虑如何实现在代码Commit后触发多平台并行(同时)集成这个需求。

之前使用Buildbot时是通过为一个Scheduler配置多个Builder满足这个需求的。但现在要换成Jenkins,我们如何来实现呢?昨天在折腾Jenkins时我把问题想简单了,今天细致查看了一下Build Log后才发现之前的配置并未真正实现多平台并行集成。

最初的Jenkins配置大致是这样的:我在Jenkins上添加了两个节点(Slave Node),分别为x86-linux-ci-slave和x86-solaris-ci-slave,并且为这两个节点设置了一个相同的标签"foo-ci-slaves"。之后我创建了一个新Job – "foo-multiplatform-ci",选择的是"构建一个自由风格的软件项目(Build a free-style software project)"。为了使得该Job执行并行集成,我选择了"Restrict where this project can be run",在"Label Expression"中填上了"foo-ci-slaves",其他配置这里就不赘述了。

按照我最初的理解,这样配置后点击"立即构建",两个Slave Node上就会同时进行相关的集成。但Build Log告诉我事实并非我想象的那样:Jenkins只是在一个Slave Node上执行了Job。那使用Jenkins如何来实现前面所说的多平台并行集成呢?查来查去,我发现原来是我在创建Job时选错了配置,我应该选择"构建一个多配置项目(Build multiconfiguration project)"。

与free-style project相比,multiconfiguration project的配置页面中不见了"Restrict where this project can be run"配置选项,但却多出了一个"Configuration Matrix"配置区域。在该区域中,我们可以选择Slaves,在Node/Label中,我们可以看到当前Jenkins中配置的所有Label和Nodes。选择一个Label是无法满足我们的要求的,那样Jenkins只会从Label中的若干个节点中选择一个来执行集成。所以我选择Nodes,将x86-linux-ci-slave和x86-solaris-ci-slave都选上,保存后我们就会在"foo-multiplatform-ci" Job的主页面上看到两个configuration: x86-linux-ci-slave和x86-solaris-ci-slave。点击"立即构建",这两个configuration对应的小球标志就会同时闪动,这说明"foo-multiplatform-ci"正在两个Slave Node上并行运行呢,这才是我想要的结果。

支持多平台并行集成只是Multiconfiguration Project的一个用途之一,《Jenkins: The Definitive Guide》一书对此有更为细致的讲解,你可以结合自定义Axis(坐标轴)以及parameterized Build实现更为复杂的构建需求。但目前我尚未遇到类似需求,所以这里也不敢乱说^_^。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 AI原生开发工作流实战 从 0 开始构建 Agent Harness Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com
这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats