使用govanityurls让私有代码仓库中的go包支持go get
《定制Go Package的Go Get导入路径》一文中我们讲到了通过使用govanityurls服务,我们可以定制go package的go get导入路径。不过,govanityurls的用途还不止这些,它还可以让你的私有代码仓库中的go package支持go get。
众所周知,开源的Go package一般分布在github、bitbucket等站点,但商业组织内部闭源的Go package则不一定都托管在像github这样的代码管理服务站点上,虽然使用github private repository服务的组织和个人正在日益增多(国内用户可能会用到码云git.oschina.net、code.csdn.net等)。很多企业或组织会自己搭建私有代码仓库(一般使用git)来满足组织内部的代码版本管理需求,而目前市面上主流且成熟的支持本地搭建的代码管理软件包括gitlab、bitbucket等。那么如何让go get支持从这些私有代码仓库中获取go package呢?本文将来回答这个问题。
很多人会问:为什么要让私有仓库中的go package支持go get呢?直接git clone不就行了么?用过go get的gopher们都清楚:go get可以自动分析go package的依赖,并帮助自动下载相关依赖。虽然go get下载依赖有各种局限,但没有go get的帮助,手工去下载各种依赖会更加“痛苦”。好了,接下来我们将用一个具体的例子来演示一下go get是如何一步步的支持从私有代码仓库下载Go包的。
我所在的开发团队使用的代码仓库就是在阿里云ECS上自行搭建的,使用的是Atlassian出品的bitbucket。虽然bitbucket在在线服务市场占有率可能不及github,但在线下自建代码仓库方面,bitbucket也是不可小觑的重量级选手。
不过bitbucket如何安装不是这里的重点,bitbucket的安装方法参考其官网manual即可。安装后的bitbucket 仓库中的Project foo的repository bar的clone地址样式如下:
http://bitbucket_ip:bitbucket_port/scm/foo/bar.git
注意:我们的bitbucket仓库没有启用https,auth的方式采用的是普通的user和password方式(bitbucket支持客户端SSH key方式访问repository)。除此之外,我们并没有为bitbucket仓库绑定域名。
一、尝试go get“裸库”
我们以foo这个在demo project下的go repository为例,这个repository的clone地址为:http://10.11.12.13:31990/scm/demo/foo.git,于是我们先来尝试一下直接go get这个未经任何“修饰”的“裸库”(由于没有使用https,因此我们在go get的命令行参数中增加了-insecure选项):
# go get -insecure -v 10.11.12.13:31990/scm/demo/foo.git
# cd .; git ls-remote git://10.11.12.13:31990/scm/demo/foo
fatal: protocol error: bad line length character: HTTP
# cd .; git ls-remote https://10.11.12.13:31990/scm/demo/foo
fatal: unable to access 'https://10.11.12.13:31990/scm/demo/foo/': gnutls_handshake() failed: An unexpected TLS packet was received.
# cd .; git ls-remote http://10.11.12.13:31990/scm/demo/foo
fatal: could not read Username for 'http://10.11.12.13:31990': terminal prompts disabled
# cd .; git ls-remote git+ssh://10.11.12.13:31990/scm/demo/foo
ssh_exchange_identification: Connection closed by remote host
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
# cd .; git ls-remote ssh://10.11.12.13:31990/scm/demo/foo
ssh_exchange_identification: Connection closed by remote host
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
10.11.12.13:31990/scm/demo/foo.git (download)
root@10.11.12.13's password:
以失败告终!我们来分析一下go get -v输出的日志! 通过日志可以看出go get先后尝试用不同访问方式去获取repository数据,尝试的顺序依次是:git、https、http和git+ssh,结果都无功而返。
- 对于git方式,我们并未开通bitbucket的git访问服务,失败是必然的;
- 对于https,我们的bitbucket server同样未予支持;
- 对于http方式,日志提示:” terminal prompts disabled”,即客户端终端的提示被禁了,也就是无法输入user和password;
- 对于最后一种git+ssh,由于没有ssh登录bitbucket主机的密码也失败了。
在四种访问方式中,http是我们期望的。为了http方式能成功获取数据,我们需要开启termnial prompts(通过GIT_TERMINAL_PROMPT=1),于是我们再次尝试:
# GIT_TERMINAL_PROMPT=1 go get -v -insecure 10.11.12.13:31990/scm/demo/foo.git
# cd .; git ls-remote git://10.11.12.13:31990/scm/demo/foo
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
# cd .; git ls-remote https://10.11.12.13:31990/scm/demo/foo
fatal: unable to access 'https://10.11.12.13:31990/scm/demo/foo/': gnutls_handshake() failed: The TLS connection was non-properly terminated.
Username for 'http://10.11.12.13:31990': tonybai
Password for 'http://tonybai@10.11.12.13:31990':
10.11.12.13:31990/scm/demo/foo.git (download)
Username for 'http://10.11.12.13:31990': tonybai
Password for 'http://tonybai@10.11.12.13:31990':
package foo/config: unrecognized import path "foo/config" (import path does not begin with hostname)
package foo/routers: unrecognized import path "foo/routers" (import path does not begin with hostname)
github.com/mattes/migrate (download)
package github.com/mattes/migrate/driver/mysql: cannot find package "github.com/mattes/migrate/driver/mysql" in any of:
/root/.bin/go18/src/github.com/mattes/migrate/driver/mysql (from $GOROOT)
/root/go/src/github.com/mattes/migrate/driver/mysql (from $GOPATH)
我们看到这次go get在尝试http访问repository时,我们有机会输入user和password了,go get也成功了!至于下面的“unrecognized import path” error那是由于repository在GOPATH下的位置变更导致的。我们查看一下已经下载到本地的foo repository:
# tree -L 1 10.11.12.13\:31990/scm/demo/foo.git/
10.11.12.13:31990/scm/demo/foo.git/
├── foo.json
├── foo.yaml
├── conf
├── config
├── controllers
├── Dockerfile
├── errors
├── front-static
├── index
├── main.go
├── Makefile
├── migrations
├── models
├── README
├── routers
├── service
├── static
├── tests
├── topic
├── utils
├── vendor
├── views
└── websocket
17 directories, 6 files
虽然go get成功了, 但对于gopher来讲,foo下package的导入路径变成了:
import 10.11.12.13:31990/scm/demo/foo.git/some-package
这种格式、这种长度的导入路径是无法接受的。那我们该如何解决呢?
一种方法就是在bitbucket server端进行配置,通过为私有镜像仓库赋予域名的方式来去除import path中ip、port、不必要的前缀路径:scm/demo以及不必要的repository名中的后缀”.git”。但这种配置方式可能是非常复杂的,且是与你使用的git server软件相关的:bitbucket可能有bitbucket的配置方法,换作gitlab,可能就需要另外一种配置方法了。
另外一种方法就是用govanityurls来屏蔽server端复杂的配置,也屏蔽了与git server软件的相关性。
二、使用govanityurls让私有代码仓库中的go包支持go get
在《定制Go Package的Go Get导入路径》一文中,我们已经详细说明了govanityurls的使用和配置方法,这里就不赘述了,仅给出必要配置。
1、配置和启动govanityurls
这里我们使用pkg.tonybai.com这个域名来作为tonybai.com下面所有go package的导入路径的前缀,以foo package为例,它的导入路径将为”import pkg.tonybai.com/foo”,这样我们的vanity.yaml的配置如下:
/foo:
repo: http://10.11.12.13:31990/scm/demo/foo.git
启动govanityurls:
$ nohup govanityurls -host pkg.tonybai.com &
2、配置nginx并做域名重指向
在我的环境中,我将govanityurls部署到与bitbucket相同的server上了。在这台主机上,我们配置一下nginx,让govanityurls的服务以80端口呈现:
# cat /etc/nginx/conf.d/default.conf
server {
listen 80;
server_name pkg.tonybai.com;
location / {
proxy_pass http://10.11.12.13:8080;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
重启nginx使配置生效:nginx -s reload
3、验证
到目前为止foo这个repo的go get path变成了pkg.tonybai.com/foo了,我们来试着go get一下:
# GIT_TERMINAL_PROMPT=1 go get -insecure -v pkg.tonybai.com/foo
Fetching https://pkg.tonybai.com/foo?go-get=1
Parsing meta tags from https://pkg.tonybai.com/foo?go-get=1 (status code 200)
get "pkg.tonybai.com/foo": found meta tag main.metaImport{Prefix:"pkg.tonybai.com/foo", VCS:"git", RepoRoot:"http://10.11.12.13:31990/scm/demo/foo.git"} at https://pkg.tonybai.com/foo?go-get=1
tonybai.com/foo (download)
Password for 'http://10.11.12.13:31990':
package foo/config: unrecognized import path "foo/config" (import path does not begin with hostname)
package foo/routers: unrecognized import path "foo/routers" (import path does not begin with hostname)
github.com/mattes/migrate (download)
package github.com/mattes/migrate/driver/mysql: cannot find package "github.com/mattes/migrate/driver/mysql" in any of:
/root/.bin/go18/src/github.com/mattes/migrate/driver/mysql (from $GOROOT)
/root/go/src/github.com/mattes/migrate/driver/mysql (from $GOPATH)
go get成功!查看一下本地foo的repository情况:
# tree -L 1 go/src/pkg.tonybai.com/foo
go/src/pkg.tonybai.com/foo
├── foo.json
├── foo.yaml
├── conf
├── config
├── controllers
├── Dockerfile
├── errors
├── front-static
├── index
├── main.go
├── Makefile
├── migrations
├── models
├── README
├── routers
├── service
├── static
├── tests
├── topic
├── utils
├── vendor
├── views
└── websocket
17 directories, 6 files
三、小结
- 通过govanityurls,我们可以很容易让私有代码仓库中的go包支持go get;
- 对于本身就不支持go get的git server,那govanityurls也是无能为力的。
微博:@tonybai_cn
微信公众号:iamtonybai
github.com: https://github.com/bigwhite
评论