使用go-ceph管理Ceph RBD映像
在《使用Ceph RBD为Kubernetes集群提供存储卷》一文中，我们了解到，在Kubernetes和ceph的集成过程中，有一个步骤是需要手动操作的，那就是创建ceph osd pool下面的rbd image。我们需要想办法去除这一手动步骤。关于方案，我们首先想到的就是是否可以调用Ceph提供的REST API来管理rbd的pool和image？
Ceph提供了两套REST API方案：ceph-rest-api和Calamari。不过从现有资料来看，这两套REST API似乎都没有提供操作pool下image的服务接口。Calamari计划实现image的service接口，但目前已经没有实现。
在Ceph REST API对rbd的覆盖还全面的情况下，我们只能自己动手，丰衣足食了：我们需要利用ceph提供library API实现对pool和image的管理，并对外提供自定义的Service API。如果你是一名gopher，那么go-ceph这个golang ceph library API binding将会给你带来不小的帮助。go-ceph实质上是通过cgo做的一个ceph c library的golang binding，覆盖较为全面：rados、rbd和cephfs都支持。
一、安装go-ceph和依赖
首先，由于用的是cgo，使用go-ceph包的程序在编译时势必要去链接ceph的c library，因此我们在开发环境中需要首先安装go-ceph包的一些依赖(在ubuntu 14.04上)：
# apt-get install librados-dev
# apt-get install librbd-dev
# ls /usr/include/rados
buffer_fwd.h buffer.h crc32c.h librados.h librados.hpp memory.h page.h rados_types.h rados_types.hpp
# ls /usr/include/rbd
features.h librbd.h librbd.hpp
接下来就是安装go-ceph自身了，我们通过最常用的go get命令就可以很顺利的下载到go-ceph包。
# go get github.com/ceph/go-ceph
二、go-ceph：连接Ceph集群
go-ceph的文档不多，但go-ceph使用起来并不算困难，关于go-ceph中各个包的用法，可以参考对应包中的*_test.go文件。
连接Ceph集群的方法之一如下：
//github.com/bigwhite/experiments/blob/master/go-ceph/conn.go
package main
import (
"fmt"
"github.com/ceph/go-ceph/rados"
)
func main() {
conn, err := rados.NewConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
err = conn.ReadDefaultConfigFile()
if err != nil {
fmt.Println("error when read default config file:", err)
return
}
err = conn.Connect()
if err != nil {
fmt.Println("error when connect:", err)
return
}
fmt.Println("connect ceph cluster ok!")
conn.Shutdown()
}
这里conn对象采用的是读取默认配置文件(/etc/ceph/ceph.conf)的方式获取的mon node信息，go-ceph文档中称还可以通过命令行参数以及环境变量的方式获取。但命令行参数的方式，我个人试了几次都没能连上。即便是对照着librados c api的文档进行参数传递也没成。
三、go-ceph：管理pool
Pool是Ceph集群的一个逻辑概念，一个Ceph集群可以有多个pool，每个pool是逻辑上的隔离单位。不同的pool可以有完全不一样的数据处理方式，比如Replica Size（副本数）、Placement Groups、CRUSH Rules、快照、所属者等。go-ceph支持对pool的创建、查看以及删除等管理操作：
//github.com/bigwhite/experiments/blob/master/go-ceph/pool.go
... ...
func newConn() (*rados.Conn, error) {
conn, err := rados.NewConn()
if err != nil {
return nil, err
}
err = conn.ReadDefaultConfigFile()
if err != nil {
return nil, err
}
err = conn.Connect()
if err != nil {
return nil, err
}
return conn, nil
}
func listPools(conn *rados.Conn, prefix string) {
pools, err := conn.ListPools()
if err != nil {
fmt.Println("error when list pool", err)
os.Exit(1)
}
fmt.Println(prefix, ":", pools)
}
func main() {
conn, err := newConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
defer conn.Shutdown()
fmt.Println("connect ceph cluster ok!")
listPools(conn, "before make new pool")
err = conn.MakePool("new_pool")
if err != nil {
fmt.Println("error when make new_pool", err)
return
}
listPools(conn, "after make new pool")
err = conn.DeletePool("new_pool")
if err != nil {
fmt.Println("error when delete pool", err)
return
}
listPools(conn, "after delete new_pool")
}
执行pool.go：
# go run pool.go
connect ceph cluster ok!
before make new pool : [rbd rbd1]
after make new pool : [rbd rbd1 new_pool]
after delete new_pool : [rbd rbd1]
四、go-ceph：管理image
image是我们真正要去管理的对象（pool可以采用默认的”rbd”），image的管理依赖go-ceph下的rbd包：
//github.com/bigwhite/experiments/blob/master/go-ceph/image.go
... ...
func listImages(ioctx *rados.IOContext, prefix string) {
imageNames, err := rbd.GetImageNames(ioctx)
if err != nil {
fmt.Println("error when getImagesNames", err)
os.Exit(1)
}
fmt.Println(prefix, ":", imageNames)
}
func main() {
conn, err := newConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
defer conn.Shutdown()
fmt.Println("connect ceph cluster ok!")
ioctx, err := conn.OpenIOContext("rbd")
if err != nil {
fmt.Println("error when openIOContext", err)
return
}
defer ioctx.Destroy()
listImages(ioctx, "before create new image")
name := "go-ceph-image"
img, err := rbd.Create(ioctx, name, 1<<20, 20)
if err != nil {
fmt.Println("error when create rbd image", err)
return
}
listImages(ioctx, "after create new image")
err = img.Remove()
if err != nil {
fmt.Println("error when remove image", err)
return
}
listImages(ioctx, "after remove new image")
}
这里要注意的是rbd.Create这个方法，如果第三个参数（image size）传递过小，那么rbd.Create会报错，比如；如果我们将那一伙代码改为：
img, err := rbd.Create(ioctx, name, 1<<10, 10)
那么执行image.go时，会得到一下错误：
error when create rbd image rbd: ret=-33
33就是linux errno，其含义是：
#define EDOM 33 /* Math argument out of domain of func */
猜测这个参数的单位是字节，具体参数的合法范围，文档和代码并没有给出显式说明。
五、小结
go-ceph实现了rbd pool/images的基本管理功能，为提供rbd restful api奠定了基础。写了三篇长文后，来一篇短的，营养算不上多，用于备忘还好。
评论