上个月末，Rancher Labs在其官方博客上宣布了 Rancher 1.0正式版本发布。 这是继Apache Mesos、 Google Kubernetes以及Docker 原生 Swarm 之后，又一个可用于Production环境中的容器管理和服务编排工具，而Rancher恰似这个领域的最后一张拼图（请原谅我的孤陋寡闻，如 果有其他 厂商在做这方面产品，请在评论中留言告诉我）。从Rancher Labs的官方about中我们可以看到：Rancher Labs致力于为DevOps team打造一个最好的容器管理平台，让容器的部署和管理变得更加Easy。

本文将带大家与Rancher来个亲密接触，直观的体会一下Rancher的入门级使用方法。

注意：由于Rancher还在active development中，本文仅适用于刚刚发布的v1.0.0版本，包括：

rancher/server:v1.0.0
rancher/agent:v0.11.0
rancher/agent-instance:v0.8.1
rancher-compose-v0.7.3

后续版本演进可能会导致本文中某些操作不再适用或某些UI元素发生变化。

零、实验环境

这里继续使用之前文章中的两个Ubuntu 14.04主机环境(kernel版本 >= 3.16.7)，Docker 1.9.1+。

其中：

rancher server:
    10.10.126.101

rancher agents:
    10.10.126.101
    10.10.105.71
    10.10.105.72

一、搭建单节点Rancher Server

Rancher的各种容器管理理念均架构在由Rancher server和rancher agent构建的Infrastructure之上。Rancher server是Rancher的核心，其地位就类似于k8s、Docker swarm或mesos中的master，提供核心容器管理服务以及API服务。作为正式版发布的Rancher v1.0.0支持HA(high available)的多节点rancher server集群，不过Install起来也的确复杂些，依赖的第三方组件也较多，什么MySQL、Redis、ZooKeeper等统统都要额外部署。由于是入门，这里就偷个赖儿，我们就搭建一个单节点的Rancher Server。

Rancher的一个设计理念是所有组件都Containerized（容器化），更有甚者Rancher Labs的另外一个产品RancherOS(地位类似于CoreOS，一款专门为运行容器而设计的Linux发行版)中所有系统服务都是 Dockerized的，这里的Rancher Server也不例外，极大的方便了我们的Install。

下面我们就在126.101 host上安装一个Rancher server。

首先，我们将rancher/server image pull到local，这个image size很大，需要耐心等待一段时间，即便是使用国内容器云厂商提供的加速器：

$ docker pull rancher/server
... ...

$ docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
rancher/server      latest              26bce58807d1        22 hours ago        775.9 MB

接下来，启动rancher server：

$ docker run -d --restart=always -p 8080:8080 rancher/server
d8ce1654ff9f1d056d7cdc9216cf19173d85037bf23be44f802d627eabc8e607

$ docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                              NAMES
d8ce1654ff9f        rancher/server      "/usr/bin/s6-svscan /"   12 seconds ago      Up 8 seconds        3306/tcp, 0.0.0.0:8080->8080/tcp   agitated_ardinghelli

映射的8080端口既服务于Rancher UI，也是Rancher API的服务端口。用浏览器打开http://10.10.126.101:8080，如果你看到如下页面，则说明你的Rancher Server搭建成功了：

Rancher image size之所以大，是因为其内部安装和运行了诸多服务程序，我们来hack一下：

$ docker exec d8ce1654ff9f ps aux
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0    188     4 ?        Ss   03:50   0:00 /usr/bin/s6-svscan /service
root         5  0.0  0.0    188     4 ?        S    03:50   0:00 s6-supervise cattle
root         6  0.0  0.0    188     4 ?        S    03:50   0:00 s6-supervise mysql
root         7  6.5 18.1 3808308 710284 ?      Ssl  03:50   1:05 java -Xms128m -Xmx1024m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/lib/cattle/logs -Dlogback.bootstrap.level=WARN -cp /usr/share/cattle/9283c067b6f96f5ff1e38fb0ddfd8649:/usr/share/cattle/9283c067b6f96f5ff1e38fb0ddfd8649/etc/cattle io.cattle.platform.launcher.Main
mysql       28  0.4  2.3 2135756 92164 ?       Ssl  03:50   0:04 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/log/mysql/error.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
root       170  0.1  0.2 264632 11552 ?        Sl   03:52   0:01 websocket-proxy
root       179  0.0  0.2 274668  8632 ?        Sl   03:52   0:00 rancher-catalog-service -catalogUrl library=https://github.com/rancher/rancher-catalog.git,community=https://github.com/rancher/community-catalog.git -refreshInterval 300
root       180  0.0  0.3 254044 12652 ?        Sl   03:52   0:00 rancher-compose-executor
root       181  0.5  0.4 1579572 16692 ?       Sl   03:52   0:05 go-machine-service
root       610  0.0  0.0  14988  2576 ?        S    04:06   0:00 git -C ./DATA/library pull -r origin master
root       611  0.0  0.0   4448  1696 ?        S    04:06   0:00 /bin/sh /usr/lib/git-core/git-pull -r origin master
root       640  0.0  0.0  15024  3020 ?        S    04:06   0:00 git fetch --update-head-ok origin master
root       641  3.0  0.1 161180  6028 ?        S    04:06   0:00 git-remote-https origin https://github.com/rancher/rancher-catalog.git
root       643  0.0  0.0  15572  2120 ?        Rs   04:07   0:00 ps aux

可以看出里面有mysql、cattle、go-machine-service、rancher-compose-executor以及 websocket-proxy等。通过PID我们可以看出/usr/bin/s6-svscan是容器的第一个启动进程，/service这个 路径作为其命令行参数，估计这是一个类似于supervisord的进程控制程 序，由其 负责启动和管理Rancher server的两个重要服务：MySQL和cattle。注：单节点rancher server的数据都保存在其内部的MySQL中，而多节点rancher server则采用一个外部的MySQL存储数据。

二、设置Account

第一次启动Rancher后，Rancher的UI是没有访问控制的，所有人都可以访问这个地址并控制一切。

切换到API菜单，可以看到当前默认Environment（后续会详细说这个概念）的API访问endpoint是： http://10.10.126.101:8080/v1/projects/1a5

我们可以用curl来访问一下这个url：

$ curl http://10.10.126.101:8080/v1/projects/1a5
{"id":"1a5","type":"project","links":{"self":"http://10.10.126.101:8080/v1/projects/1a5","agents":"http://10.10.126.101:8080/v1/projects/1a5/agents","auditLogs":"http://10.10.126.101:8080/v1/projects/1a5/auditlogs","certificates":"http://10.10.126.101:8080/v1/projects/1a5/certificates",
... ...
"swarm":false,"transitioning":"no","transitioningMessage":null,"transitioningProgress":null,"uuid":"adminProject"}

返回超过一屏的信息，这同时也说明Rancher Server在正常工作。

在正式感受Rancher功能前，我们来给Rancher添加一个Account，相信这也是所有要在生产环境使用Rancher的朋友必须要做 的事情。

在Rancher UI中，也许你已经注意到了，在第一行菜单栏中，“ADMIN”菜单项右侧有一个红色的“!”，这也是在提醒你Rancher当前未设防。我们点击 “ADMIN”，选择出现的二级菜单中的”ACCOUNTS”菜单项，我们将看到如下页面：

添加权限控制，需要在【”ADMIN” -> “ACCESS CONTROL”】中。Rancher支持四种权限控制方案，分别是：Active Directory、GitHub、Local Auth和OpenLDAP。我们使用最简单的Local Auth，即设置一个用户名和密码，然后点击“Enable Local Auth”按钮即可。然后我们再回到”ACCOUNTS”页面：

可以看到我们已经建立了一个新的Admin权限的账号：tonybai。当前的登录账号也换成了tonybai。

这时如果你再用API访问当前默认环境的EndPoint的话，结果就会变成下面这样：

 curl http://10.10.126.101:8080/v1/projects/1a5
{"id":"b052db07-d58e-45bf-872e-06ced8bcc4e1","type":"error","links":{},"actions":{},"status":401,"code":"Unauthorized","message":"Unauthorized","detail":null}

提示错误：Unauthorized

这时如果还想用API访问，就需要为该环境添加一个API Key了。在”API”页面下，点击 “Add Environment API Key”按钮，在弹出的窗口中输入key的name：tonybai-default-env-key，点击”Create”创建：

Rancher会随机生成一对access key和secret key，即user和password，使用它们即可通过API访问该环境，注意：secret key只显示这么一次，你需要手工将其记录下来，否则一旦关闭这个窗口，就无法再找到secret key的内容了，只能再重新生成一对。

$curl -u 5569108BE7489DEE47A5:76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh http://10.10.126.101:8080/v1/projects/1a5
{"id":"1a5","type":"project","links":{"self":"http://10.10.126.101:8080/v1/projects/1a5","agents":"http://10.10.126.101:8080/v1/projects/1a5/agents","auditLogs":"http://10.10.126.101:8080/v1/projects/1a5/auditlogs","certificates":"http://10.10.126.101:8080/v1/projects/1a5/certificates",
... ...
"swarm":false,"transitioning":"no","transitioningMessage":null,"transitioningProgress":null,"uuid":"adminProject"}

三、Environment

前面说过，Rancher中有个概念是Environment。在Rancher UI的右上角，我们可以看到”Default Enviromnet”字样，点击向下箭头，打开下拉菜单，选择：“Manage Enviromnets”，可以看到当前的Enviroments列表：

在这个页面，我们可以看到Rancher对Enviroments的诠释：

Rancher supports grouping resources into multiple environments. Each one gets its own set of services and infrastructure resources, and is owned by one or more GitHub users, teams or organizations.

For example, you might create separate "dev", "test", and "production" environments to keep things isolated from each other, and give "dev" access to your entire organization but restrict the "production" environment to a smaller team.

大致意思就是一个Environment就是一个resource group，每个Environment都有自己的服务和基础设施资源，并且通过Access Control来赋予每个Account访问该Environments的权限。Rancher Labs的一个目标就是为DevOps Team打造一个Easy的容器管理工具，因此在解释Environment术语时，还特地以DevOps Workflow来解释，比如建立dev、test、production environment，保证Environments间的隔离。下面的这幅图可能会更直观的展现出Environment在Rancher中的“角 色”：

Rancher Server建立后，会建立一个”Default” Environment，我们可以Edit一下这个Environment的信息，可以修改它的Name、Container Orchestration引擎（cattle、k8s和swarm，默认cattle）以及Access Control，我们看到tonybai的用户是这个Environment的Owner，当然我们也可以修改tonybai这个用户的Role，比如 member、readonly或restricted。这里我们将Default的名字改为”dev”。

我们再添加一个Environment “test”，引擎用cattle:

我们看到dev environment后面有一个”对号”，说明dev environment是当前active environment，所有操作均针对该environment，你当然可以通过点击每个environment列表后面的切换图标来切换active environment。

到目前为止，虽然Rancher Server建立ok了，environment这个逻辑实体也建立了，但dev environment仍处于“无米下炊”的状态。因为除了Rancher自身外，该Environment下没有任何Resources（主机、存储 等）可供使用（比如创建Containers）。

我们来为dev environment添加两个主机资源：10.10.126.101和10.10.105.72。在”INFRASTRUCTURE”-> HOSTS中点击”Add Host”按钮添加主机资源。Rancher支持多种主机资源，包括Custom（本地自定义）、Amazon EC2、 Azure 以及 DigitalOcean 等。

我们以本地Host资源(选择Custom)为例，在添加Host页面中，我们输入第一个Host的IP，Rancher UI会生成下面这段命令行：

sudo docker run -e CATTLE_AGENT_IP='10.10.126.101'  -d --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v0.11.0 http://10.10.126.101:8080/v1/scripts/B0C997705263867F519F:1460440800000:1Rd9TyJIS2Fnae5lcjsvnIRDJE

我们需要手动在10.10.126.101这个Host上执行上述命令行：

$ sudo docker run -e CATTLE_AGENT_IP='10.10.126.101'  -d --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v0.11.0 http://10.10.126.101:8080/v1/scripts/B0C997705263867F519F:1460440800000:1Rd9TyJIS2Fnae5lcjsvnIRDJE
2d05764d42c52b1449021766a5c0e104098605cd7d53b632571c46f1e84f2a4b

$ docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                              NAMES
2d05764d42c5        rancher/agent:v0.11.0   "/run.sh http://10.10"   27 seconds ago      Up 22 seconds                                          big_bhabha
d8ce1654ff9f        rancher/server          "/usr/bin/s6-svscan /"   4 days ago          Up 4 days           0.0.0.0:8080->8080/tcp, 3306/tcp   agitated_ardinghelli

等待一会儿，我们刷新一下”INFRASTRUCTURE”-> HOSTS页面，我们会看到10.10.126.101这个Host被加入到dev environment的Infrastructure中了：

按照同样的步骤，我们再将10.10.105.72加入到Infrastructure中：

$ sudo docker run -e CATTLE_AGENT_IP='10.10.105.72'  -d --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v0.11.0 http://10.10.126.101:8080/v1/scripts/B0C997705263867F519F:1460440800000:1Rd9TyJIS2Fnae5lcjsvnIRDJE
e1f335c665853348810aef8736c67f610ae7f4c93e4b6265361b95a354af434a

$docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS                  PORTS               NAMES
2e212fda35d3        rancher/agent:v0.11.0   "/run.sh inspect-host"   23 seconds ago      Up Less than a second                       trusting_noyce
e1f335c66585        rancher/agent:v0.11.0   "/run.sh http://10.10"   39 seconds ago      Up 23 seconds                               clever_bohr

我们注意到：上面的命令启动了两个Container，image虽然都是rancher/agent:v0.11.0，但执行的命令行参数略有 不同（其中一个Container为临时Container，一段时间后会自动退出）。片刻，我们就在Hosts下看到了两个Host资源了。

我们点击Rancher UI右上角的下拉箭头，将当前Environment从dev切换到test，我们发现test Environment下的Hosts又为空了（不过此处似乎有个bug，在我的Mac Chrome浏览器中，等的时间足够久后，似乎test environment把dev enviroment的Host资源显示出来了，很怪异）。可以看出Infra是Environment相关的。我们在test环境下增加一个 10.10.105.71 host：

$ sudo docker run -e CATTLE_AGENT_IP='10.10.105.71'  -d --privileged -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/rancher:/var/lib/rancher rancher/agent:v0.11.0 http://10.10.126.101:8080/v1/scripts/A63B9C5F8066E29377C3:1460448000000:UbPcmDXOqoI6mls6e75Qp17QR0
4a5f9e13615e562636cd515763e293449607a8b2d827d2599f80f9ad8f16aa2d

$ docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED              STATUS                  PORTS                    NAMES
d101095c7709        rancher/agent:v0.11.0   "/run.sh run"            6 seconds ago        Up Less than a second                            rancher-agent
4a5f9e13615e        rancher/agent:v0.11.0   "/run.sh http://10.10"   About a minute ago   Up About a minute                                evil_khorana

到这里，test Environment下也有了一个Host了，从Rancher UI页面可以看到。

四、Stack

Rancher UI的左上角APPLICATIONS下面有一个“STACKS”的二级菜单项。Rancher官方docs对Stack的解释是：”A Rancher stack mirrors the same concept as a docker-compose project. It represents a group of services that make up a typical application or workload.”。同时Rancher UI上关于Service的解释如下：“A service is simply a group of containers created from the same Docker image but extends Docker’s “link” concept to leverage Rancher’s lightweight distributed DNS service for service discovery”。从这两段描述中，我们大致可以推出如下关系：

A Stack <=> An Application <=> A group of services(由类docker-compose的工具rancher-compose管理)

下面这幅图直观描述了user account, environment与stacks之间的关系：

我们在dev environment下添加一个Service。Rancher UI “APPLICATIONS” -> “STACKS”下面支持两种添加Service的方式，一种是手工添加，一种是从Catalog添加。Catalog类似于一个Rancher App Market，里面有Rancher预定义好的service template。我们这次采用手工添加的方式，便于控制。我们基于nginx:1.8-alpine创建单一实例的service: nginx-alpine-service，端口映射：10086->80。其他采用默认配置。添加Service时，并没有位置让你为Stack 起名，但添加一个Service后，我们会看到当前Stack是Default Stack，你可以修改Stack name，这里改为nginx-app-stack。启动后，我们看到第一个nginx-alpine-service的Container运行在 105.72上。

点击stack名字，可以查看stack的详细信息：

点击”nginx-alpine-service”，进入到service属性页面，我们将nginx-alpine-service的 Scale +1。Rancher会自动在Resource host上根据默认调度策略，运行一个新的基于nginx image的Container。我们可以看到这个新Container运行在126.101上，这样dev Environmnet中的两个Host上就各自运行了一个nginx-alpine-service的Container：

nginx-alpine-service的两个容器分别为：

 Running    Default_nginx-alpine-app_1  10.42.96.91 10.10.105.72  nginx:1.8-alpine
 Running    nginx-app-stack_nginx-alpine-service_1  10.42.164.174   10.10.126.101 nginx:1.8-alpine

Rancher内置“Internal DNS Services”，同一Stack下的Container可以通过Container name相互ping通。Rancher以Environment为界限，每个Environment下的Container name都是全局唯一的。

在10.10.105.72上，我们执行如下命令来ping 10.10.126.101上的容器：nginx-app-stack_nginx-alpine-service_1：

$ docker exec r-Default_nginx-alpine-app_1  ping -c 3 nginx-app-stack_nginx-alpine-service_1
PING nginx-app-stack_nginx-alpine-service_1 (10.42.164.174): 56 data bytes
64 bytes from 10.42.164.174: seq=0 ttl=62 time=0.729 ms
64 bytes from 10.42.164.174: seq=1 ttl=62 time=0.754 ms
64 bytes from 10.42.164.174: seq=2 ttl=62 time=0.657 ms

--- nginx-app-stack_nginx-alpine-service_1 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.657/0.713/0.754 ms

在10.10.126.101上，我们执行如下命令来ping 10.10.105.72上的容器：Default_nginx-alpine-app_1：

$ docker exec r-nginx-app-stack_nginx-alpine-service_1 ping -c 3 Default_nginx-alpine-app_1
PING Default_nginx-alpine-app_1 (10.42.96.91): 56 data bytes
64 bytes from 10.42.96.91: seq=0 ttl=62 time=0.640 ms
64 bytes from 10.42.96.91: seq=1 ttl=62 time=0.814 ms
64 bytes from 10.42.96.91: seq=2 ttl=62 time=0.902 ms

--- Default_nginx-alpine-app_1 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.640/0.785/0.902 ms

我们按照上述方法为nginx-app-stack再添加一个Service: redis-alpine-service，该service基于redis:alpine image，该service的Container被运行在105.72上了：

$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                          NAMES
7246dce88ea6        redis:alpine                    "/entrypoint.sh redis"   3 minutes ago       Up 3 minutes        6379/tcp                                       r-nginx-app-stack_redis-service_1

我们来测试一下同一stack下，不同Service的互ping：

我们在redis-alpine-service的Container中来ping nginx-alpine-service，地址直接使用”nginx-alpine-service”这个service name即可：

$ docker exec r-nginx-app-stack_redis-service_1 ping -c 3 nginx-alpine-service
PING nginx-alpine-service (10.42.164.174): 56 data bytes
64 bytes from 10.42.164.174: seq=0 ttl=62 time=0.660 ms
64 bytes from 10.42.164.174: seq=1 ttl=62 time=0.634 ms
64 bytes from 10.42.164.174: seq=2 ttl=62 time=0.599 ms

--- nginx-alpine-service ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.599/0.631/0.660 ms

可以看到Rancher的Internal DNS Service将”nginx-alpine-service”这个service name解析为nginx-alpine-service的两个Container中的一个：10.42.164.174。

我们再添加一个Stack：memcached-app-stack，来看一下跨Stack的容器连通方法。ping之前我们需要为该Stack添加一个基于memcached:latest image的Service: memcached-service

10.10.105.72

$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                          NAMES
184e8e8f448e        memcached:latest                "/entrypoint.sh memca"   24 seconds ago      Up 16 seconds       11211/tcp                                      r-memcached-app-stack_memcached-service_1

Rancher官方docs中明确说明：不同Stack间service互ping，需要采用“ service_name.stack_name”的地址格式，我们在memcached-app-stack中的“r-memcached-app-stack_memcached-service_1”容器里去ping nginx-app-stack中的nginx-alpine-service服务：

$ docker exec r-memcached-app-stack_memcached-service_1  ping -c 3 nginx-alpine-service.nginx-app-stack
PING nginx-alpine-service.nginx-app-stack (10.42.164.174): 56 data bytes
64 bytes from 10.42.164.174: icmp_seq=0 ttl=62 time=0.710 ms
92 bytes from 10.42.84.96: Redirect Host
64 bytes from 10.42.164.174: icmp_seq=1 ttl=62 time=2.543 ms
--- nginx-alpine-service.nginx-app-stack ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.710/1.627/2.543/0.917 ms

ping nginx-app-stack中的redis-alpine-service服务：

$ docker exec r-memcached-app-stack_memcached-service_1  ping -c 3 redis-alpine-service.nginx-app-stack
PING redis-alpine-service.nginx-app-stack (10.42.220.43): 56 data bytes
64 bytes from 10.42.220.43: icmp_seq=0 ttl=64 time=0.161 ms
64 bytes from 10.42.220.43: icmp_seq=1 ttl=64 time=0.050 ms
64 bytes from 10.42.220.43: icmp_seq=2 ttl=64 time=0.051 ms
--- redis-alpine-service.nginx-app-stack ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.050/0.087/0.161/0.052 ms

我们通过cat /etc/resolv.conf可以查看到Rancher内部DNS的地址：

$docker exec r-memcached-app-stack_memcached-service_1  cat /etc/resolv.conf
search memcached-app-stack.rancher.internal memcached-service.memcached-app-stack.rancher.internal rancher.internal
nameserver 169.254.169.250

五、Rancher Compose CLI

Rancher除了提供UI工具外，还提供了一个名为rancher-compose的CLI工具，用于在一个stack的范围内管理各个services。rancher-compose的灵感来源于docker-compose，兼容docker-compose的配置文件格式，并有自己的扩展。此外与docker-compose不同的是rancher-compose支持跨多主机管理。

在Rancher UI的右下角有一个Rancher-compose的下载链接，支持Linux，Windows和Mac。rancher-compose当前版本是0.7.3，下载后将其路径放到PATH环境变量里，验证一下运行是否ok：

$ rancher-compose -v
rancher-compose version v0.7.3

要管理某个stack下的Service，我们至少需要提供一个docker-compose.yml文件，这里针对memcached-app-stack下的memcached-service这个服务做一些操作，我们提供一个docker-compose.yml：

memcached-service:
  log_driver: ''
  tty: true
  log_opt: {}
  image: memcached:latest
  stdin_open: true

利用dev环境的api key和secret，rancher-compose可以实现与rancher的交互：

$ rancher-compose --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh -p memcached-app-stack up
INFO[0000] Project [memcached-app-stack]: Starting project
INFO[0000] [0/1] [memcached-service]: Starting
INFO[0000] [1/1] [memcached-service]: Started
INFO[0000] Project [memcached-app-stack]: Project started

由于memcached-service已经存在并启动了相应Container，因此上面的命令实际上没有做任何改动。如果想看rancher-compose的执行细节，可以在rancher-compose后面加上–verbose命令行option，可以看到如下结果：

$ rancher-compose --verbose --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh -p memcached-app-stack up
DEBU[0000] Environment Context from file : map[]
DEBU[0000] Opening compose file: docker-compose.yml
DEBU[0000] [0/0] [memcached-service]: Adding
DEBU[0000] Opening rancher-compose file: /home1/tonybai/rancher-compose.yml
DEBU[0000] Looking for stack memcached-app-stack
DEBU[0000] Found stack: memcached-app-stack(1e3)
DEBU[0000] Launching action for memcached-service
DEBU[0000] Project [memcached-app-stack]: Creating project
DEBU[0000] Finding service memcached-service
DEBU[0000] [0/1] [memcached-service]: Creating
DEBU[0000] Found service memcached-service
DEBU[0000] [0/1] [memcached-service]: Created
DEBU[0000] Project [memcached-app-stack]: Project created
INFO[0000] Project [memcached-app-stack]: Starting project
DEBU[0000] Launching action for memcached-service
DEBU[0000] Finding service memcached-service
INFO[0000] [0/1] [memcached-service]: Starting
DEBU[0000] Found service memcached-service
DEBU[0000] Finding service memcached-service
INFO[0000] [1/1] [memcached-service]: Started
INFO[0000] Project [memcached-app-stack]: Project started
DEBU[0000] Found service memcached-service
DEBU[0000] Finding service memcached-service
DEBU[0000] Found service memcached-service

我们再通过rancher-compose将memcached-service扩展到两个Container：

$ rancher-compose --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh -p memcached-app-stack scale memcached-service=2
INFO[0000] Setting scale memcached-service=2...

几秒后，Rancher UI上memcached-service的Container数量就会从1变为2。在105.72上我们也可以看到两个memcached service container：

$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                          NAMES
43c1443fec9f        memcached:latest                "/entrypoint.sh memca"   8 minutes ago       Up 7 minutes        11211/tcp                                      r-memcached-app-stack_memcached-service_2
184e8e8f448e        memcached:latest                "/entrypoint.sh memca"   14 hours ago        Up 13 hours         11211/tcp                                      r-memcached-app-stack_memcached-service_1

六、Service upgrade

Rancher支持stack中Service的upgrade管理。Rancher提供了两种Service Upgrade方法：In-service upgrade和Rolling upgrade（滚动升级）。rancher-compose同时支持两种升级方法，Rancher UI中针对stack下的service也有upgrade菜单选项，但UI提供的升级方式等同于in-service upgrade。

根据官方docs的说明，In-Service upgrade的默认upgrade步骤大致是：

1、停掉existing service的containers；
2、等待interval时间；
3、启动new version service的containers；
4、confirm upgrade or rollback。

而Rolling upgrade的升级步骤则是：

1、启动new service ；
2、将old service的scale降为0。

下面我们就每种method分别举一个例子说明一下（均采用rancher-compose工具）。

1、In-Service Upgrade

我们来将dev Environment下nginx-app-stack的nginx-alpine-service从nginx:1.8-alpine升级到nginx:1.9-alpine。为此我们需要给rancher-compose提供一份升级后的service的docker-compose.yml文件：

//docker-compose-nginx-service-upgrade.yml

nginx-alpine-service:
  ports:
  - 10086:80/tcp
  log_driver: ''
  labels:
    io.rancher.container.start_once: 'true'
  tty: true
  log_opt: {}
  image: nginx:1.9-alpine
  stdin_open: true

可以看到我们仅是将nginx-alpine-service的image从1.8-alpine改为1.9-alpine了。接下来我们就来升级nginx-alpine-service：

$ rancher-compose -f ./docker-compose-nginx-service-upgrade.yml --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh -p nginx-app-stack up --upgrade nginx-alpine-service
INFO[0000] Project [nginx-app-stack]: Starting project
INFO[0000] [0/1] [nginx-alpine-service]: Starting
INFO[0000] Updating nginx-alpine-service
INFO[0001] Upgrading nginx-alpine-service
INFO[0056] [1/1] [nginx-alpine-service]: Started
INFO[0056] Project [nginx-app-stack]: Project started

我们通过Rancher UI可以看到upgrade执行在界面上体现出来的变化：

Upgrade后，nginx-alpine-service的详细信息如下：

我们来Confirm一下：

$ rancher-compose -f ./docker-compose-nginx-service-upgrade.yml  --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SYQDYgVok7Co6HRncU7bUCEShXh -p nginx-app-stack up --upgrade --confirm-upgrade
INFO[0000] Project [nginx-app-stack]: Starting project
INFO[0000] [0/1] [nginx-alpine-service]: Starting
INFO[0001] [1/1] [nginx-alpine-service]: Started
INFO[0001] Project [nginx-app-stack]: Project started
ERRO[0002] Failed to get logs for Default_nginx-alpine-app_1: Failed to find action: logs
ERRO[0002] Failed to get logs for nginx-app-stack_nginx-alpine-service_1: Failed to find action: logs

Confirm后，Rancher UI上的upgrade标记不见了，两个没有running的old版本 container也被cleanup了。confirm时出现两个ERRO，不知何原因，但问题不大，没有影响到confirm结果。

2、Rolling Upgrade

与In-service upgrade服务中断不同，Rolling Upgrade会先启动new Service，然后再逐渐将old service的scale减少到0。这种情况下，如果其他服务配合到位，该服务是不会中断的。

我们以nginx-app-stack中的redis-alpine-service为例，将其从redis:alpine版本升级到3.0.7-alpine。

$docker images
redis                                  3.0.7-alpine        633ba621a23f        6 weeks ago         15.95 MB
redis                                  alpine              633ba621a23f        6 weeks ago         15.95 MB
... ...

我们同样要为这次Roll upgrade准备一份docker-compose.yml文件：

//docker-compose-redis-service-upgrade.yml

redis-alpine-service:
redis-alpine-service-v1:
  log_driver: ''
  tty: true
  log_opt: {}
  image: redis:3.0.7-alpine
  stdin_open: true

执行Rolling upgrade命令：

$rancher-compose -f ./docker-compose-redis-service-upgrade.yml --url http://10.10.126.101:8080  --access-key 5569108BE7489DEE47A5 --secret-key 76Yw5v63ag8SdKYQDYgVok7Co6HRncU7bUCEShXh -p nginx-app-stack upgrade  redis-alpine-service redis-alpine-service-v1
INFO[0000] Creating service redis-alpine-service-v1
INFO[0005] Upgrading redis-alpine-service to redis-alpine-service-v1, scale=2

Rancher UI上出现如下状态变化：

最终redis-alpine-service-v1启动，redis-alpine-service停止，但Rancher UI并未将其Remove，你可以手动删除，或者在上面命令中加入–cleanup自动删除old service。

七、参考资料

关于Rancher，网上可用的资料并不多，这里主要是参考了官方文档：

http://rancher.com/announcing-rancher-1-0-ga/

http://docs.rancher.com/rancher/quick-start-guide/

不过Rancher的Doc文字太多，少图，尤其是在Rancher UI介绍这块，基本无图，还待改善。

另外国内的云舒网络与 Rancher Labs是深度的合作伙伴，云舒公司博客上的内容也值得大家认真参考。

八、小结

相比于Mesos、Kubernetes和Swarm这三位欧巴，Rancher还最为年轻(至少从发布时间上来看是这样的)，也刚刚起步。而这个领域的激烈的竞争也才刚刚开始。 谁能笑道最后，还待观察。

今天我们来说说Docker容器日志。

一、容器日志输出的旧疾及能力演进

Docker容器在默认情况下会将打印到stdout、stderr的 日志数据存储在本地磁盘上，默认位置为/var/lib/docker/containers/{ContainerId} /{ContainerId}-json.log。在老版本Docker中，这种日志记录方式经常被诟病，诸如：日志大小无限制、无法 Rotate（轮转）、无日志基本管理能力以及性能糟糕等。针对这些旧疾，Docker一直试图在演进中完善和解决。

记忆中好像是在Docker 1.8版本中，Docker增加了对json-file型（默认）log driver的rotate功能，我们可通过max-size和max-file两个–log-opt来配置。比如：我们启动一个nginx容器，采用 json-file日志引擎，每个log文件限制最大为1k，轮转的日志个数为5个：

$docker run -d --log-driver=json-file --log-opt max-size=1k --log-opt max-file=5 --name webserver -p 9988:80 nginx
50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72
$ sudo ls -l /var/lib/docker/containers/50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72
总用量 44
-rw-r--r-- 1 root root  226  3月 24 14:39 50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72-json.log
-rw-r--r-- 1 root root 1129  3月 24 14:39 50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72-json.log.1
-rw-r--r-- 1 root root 1130  3月 24 14:39 50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72-json.log.2
-rw-r--r-- 1 root root 1129  3月 24 14:39 50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72-json.log.3
-rw-r--r-- 1 root root 1129  3月 24 14:39 50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72-json.log.4
... ...

有了rotate，我们就不必担心某个container的日志暴涨而将同host的其他container拖死了。不过对于日志的管理目前也仅仅演进到如此，很多需求还得依靠第三方工具和方案来解决。

另外当前Docker容器日志的写入性能依旧糟糕，如果对此敏感，可以用volume机制来解决，即 关闭容器内应用的标准输出、错误（–log-driver=none），直接将日志写到某mounted volume中的某个文件中。下面是bare metal裸机原生写日志文件、volume方式写日志文件以及docker默认写json文件的性能简单对比：

我们用dd这个小工具，以go1.6.linux-amd64.tar.gz这个 85MB的文件作为输入，结果如下：（环境ubuntu 12.04 docker 1.9.1）

1、bare metal
dd if=~/.bin/go1.6.linux-amd64.tar.gz of=./go.bin
记录了165623+1 的读入
记录了165623+1 的写出
84799480字节(85 MB)已复制，0.426716 秒，199 MB/秒

2、通过挂在本地volume
$ docker run --rm -it -v /home1/tonybai/testdd/volume:/testdd ubuntu:14.04 dd if=/testdd/go1.6.linux-amd64.tar.gz of=/testdd/go.bin
165623+1 records in
165623+1 records out
84799480 bytes (85 MB) copied, 0.3753 s, 226 MB/s

3、docker default
$docker run  -v /home1/tonybai/testdd/volume:/testdd ubuntu:14.04 dd if=/testdd/go1.6.linux-amd64.tar.gz 2>&1 1>/dev/null

165623+1 records in
165623+1 records out
84799480 bytes (85 MB) copied, 5.97732 s, 14.2 MB/s

$ sudo ls -lh /var/lib/docker/containers/d4b5e6aae3968f68e5081414ad95c6308fa91808b44b415a03040403af5a4713/                                              d4b5e6aae3968f68e5081414ad95c6308fa91808b44b415a03040403af5a4713-json.log
-rw------- 1 root root 331M  3月 24 18:05 /var/lib/docker/containers/d4b5e6aae3968f68e5081414ad95c6308fa91808b44b415a03040403af5a4713/                                          d4b5e6aae3968f68e5081414ad95c6308fa91808b44b415a03040403af5a4713-json.log

可以看出，默认情况下，Docker写入json的速度是挂载volume方式的十分之一还低。主要原因是Docker容器的标准输出、 标准错误都会被Docker Daemon接管，并由Daemon写入json log文件，因此Daemon就成为了日志写入的瓶颈。

二、容器日志的集中管理

日志的管理需求由来已久，无论是传统遗留系统，还是互联网应用或服务，日志在运维和运营中的作用不可小觑。尤其是现在被普遍采用的集中日志管理实践，对Docker的日志管理提出了新的要求。上面提到随着Docker的演进，Docker的logging已有所改善，增加了多种log driver的支持（比如syslog、fluentd等），为容器日志的集中管理方案提供了多样性。

目前国内很多企业采用ELK方案（当然ELK方案不仅仅局限于Docker了），即ElasticSearch + Logstash + Kibana，Logstash负责从各个节点收集、过滤、分析和处理日志，ElasticSearch负责存储、索引和查找日志；Kibana负责以图形化界面展示日志处理结果。但Docker Container如何做本地日志管理、如何将本地最新的日志输送给Logstash没有标准方案，你可以用fluentd agent也可以使用logspout。ELK方案中也有自己的用于客户端节点日志输送的工具，以前称为logstash-forwarder：

node1 (logstash-forwarder) ------>

node2 (logstash-forwarder) ------>   logstash server --> ElasticSearch

node3 (logstash-forwarder) ------>

现在Elastic.co使用beats系列产品替代logstash-forwarder，针对日志输送这块，对应的beats产品是filebeat，使用filebeat后，前面的集中日志方案结构就变成了：

node1 (filebeat) ------>

node2 (filebeat) ------>   [logstash server] --> ElasticSearch

node3 (filebeat) ------>

我们看到logstash server是一个可选的中间环节，使用filebeat后，你可以将client node上的最新日志直接发送给ElasticSearch，而无需经过logstash这一环节。当然如果你对源日志有过滤、清洗、分析等需求时，logstash依旧是你的得力助手。这里我们暂不用logstash，而是直接将日志发给ElasticSearch做存储和索引。

三、使用Filebeat输出容器日志的步骤

测试环境示意图如下：（ubuntu 14.04 + docker 1.9.1)

node1 (10.10.126.101 nginx container +  filebeat) ------>   server 10.10.105.71 (ElasticSearch + kibana)

这里的所有程序均以容器形式安装和运行。

1、安装elasticsearch和kibana

elasticsearch和kibana都有官方Docker image。

安装elasticsearch：

$ docker pull elasticsearch
Using default tag: latest
latest: Pulling from library/elasticsearch
...

执行env，查看版本：

$ docker exec  elasticsearch env

... ...
ELASTICSEARCH_MAJOR=2.2
ELASTICSEARCH_VERSION=2.2.1
ELASTICSEARCH_REPO_BASE=http://packages.elasticsearch.org/elasticsearch/2.x/debian
... ...

安装kibana：

$ docker pull kibana
Using default tag: latest
latest: Pulling from library/kibana
... ...

我们查看一下当前images列表：

REPOSITORY                             TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
elasticsearch                          latest              c6b6bed19c45        8 days ago          347.1 MB
kibana                                 latest              d2c9c3cfc682        12 days ago         295.4 MB
... ...

2、启动es和kibana，验证服务启动ok

启动ES:

$ sudo mkdir -p /data/elasticsearch
$  docker run -d --name elasticsearch -p 9200:9200 -v /data/elasticsearch:/usr/share/elasticsearch/data elasticsearch
4288b4db18af8575961faf940a1dc634fe30857bb184fb45611136b7bd3ffb7d

查看服务启动情况：

$ docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                              NAMES
4288b4db18af        elasticsearch       "/docker-entrypoint.s"   21 seconds ago      Up 10 seconds       0.0.0.0:9200->9200/tcp, 9300/tcp   elasticsearch

启动日志如下：

$ docker logs elasticsearch
[2016-03-24 11:00:29,289][INFO ][node                     ] [Katherine Reynolds] version[2.2.1], pid[1], build[d045fc2/2016-03-09T09:38:54Z]
[2016-03-24 11:00:29,291][INFO ][node                     ] [Katherine Reynolds] initializing ...
[2016-03-24 11:00:29,863][INFO ][plugins                  ] [Katherine Reynolds] modules [lang-expression, lang-groovy], plugins [], sites []
[2016-03-24 11:00:29,894][INFO ][env                      ] [Katherine Reynolds] using [1] data paths, mounts [[/usr/share/elasticsearch/data (/dev/disk/by-uuid/f577c0bc-665b-431b-96e0-e3536dc11469)]], net usable_space [114.5gb], net total_space [130.4gb], spins? [possibly], types [ext4]
[2016-03-24 11:00:29,894][INFO ][env                      ] [Katherine Reynolds] heap size [990.7mb], compressed ordinary object pointers [true]
[2016-03-24 11:00:31,881][INFO ][node                     ] [Katherine Reynolds] initialized
[2016-03-24 11:00:31,881][INFO ][node                     ] [Katherine Reynolds] starting ...
[2016-03-24 11:00:31,993][INFO ][transport                ] [Katherine Reynolds] publish_address {172.17.0.1:9300}, bound_addresses {[::]:9300}
[2016-03-24 11:00:32,004][INFO ][discovery                ] [Katherine Reynolds] elasticsearch/D7hV_RcHQa275Xc7if1Kkg
[2016-03-24 11:00:35,058][INFO ][cluster.service          ] [Katherine Reynolds] new_master {Katherine Reynolds}{D7hV_RcHQa275Xc7if1Kkg}{172.17.0.1}{172.17.0.1:9300}, reason: zen-disco-join(elected_as_master, [0] joins received)
[2016-03-24 11:00:35,075][INFO ][http                     ] [Katherine Reynolds] publish_address {172.17.0.1:9200}, bound_addresses {[::]:9200}
[2016-03-24 11:00:35,076][INFO ][node                     ] [Katherine Reynolds] started
[2016-03-24 11:00:35,144][INFO ][gateway                  ] [Katherine Reynolds] recovered [0] indices into cluster_state

启动kibana：

启动kibana容器需要提供一个环境变量参数，即ES的服务地址和端口：

$docker run -d --name kibana -e ELASTICSEARCH_URL="http://10.10.105.72:9200"  -p 5601:5601 kibana

要验证kibana是否启动ok，可以通过浏览器打开：http://10.10.105.72:5601，如果web页面正常显示，并且http://10.10.105.72:5601/status页面中有”Status: Green”字样，说明Kibana启动ok了。

3、安装和配置filebeat

在安装filebeat前，我们先启动一个测试用webserver，部署在10.10.126.101上，用于产生日志数据：

$ docker run -d --log-driver=json-file --log-opt max-size=1k --log-opt max-file=5 --name webserver -p 9988:80 nginx
50f100e7ea4d5b4931f144f9eac12b6a05e56579583d7a0322b250004b68ae72

Filebeat没有官方image版本，docker hub上star数量最多的是prima/filebeat这个库中的image，我们就打算使用这个了，pull过程这里就不赘述了：

$docker run --rm prima/filebeat env
... ...
FILEBEAT_VERSION=1.1.2
... ...

可以看到这个库中的filebeat image使用的filebeat版本是最新的。

我们接下来来看run：

$ docker run --rm prima/filebeat
Loading config file error: Failed to read /filebeat.yml: open /filebeat.yml: no such file or directory. Exiting.

看来Filebeat需要做一些配置，我们得来查看一下Filebeat的官方manual。

Filebeat需要一个filebeat.yml配置文件，用于配置log来源以及log输送的目的地，我们参考manual给出一个适合我们的配置：

filebeat:
  # List of prospectors to fetch data.
  prospectors:
    # Each - is a prospector. Below are the prospector specific configurations
    -
      # Paths that should be crawled and fetched. Glob based paths.
      # For each file found under this path, a harvester is started.
      paths:
          - "/var/lib/docker/containers/*/*.log"
        #- c:\programdata\elasticsearch\logs\*

      # Type of the files. Based on this the way the file is read is decided.
      # The different types cannot be mixed in one prospector
      #
      # Possible options are:
      # * log: Reads every line of the log file (default)
      # * stdin: Reads the standard in
      input_type: log

# Configure what outputs to use when sending the data collected by the beat.
# Multiple outputs may be used.
output:
  ### Elasticsearch as output
  elasticsearch:
    # Array of hosts to connect to.
    hosts: ["10.10.105.72:9200"]

我们采集/var/lib/docker/containers/*/*.log，即filebeat所在节点的所有容器的日志。输出的位置是我们ElasticSearch的服务地址，这里我们直接将log输送给ES，而不通过Logstash中转。

再启动之前，我们还需要向ES提交一个filebeat index template，以便让Es知道filebeat输出的日志数据都包含哪些属性和字段。filebeat.template.json这个模板文件不用我们编写，filebeat官方提供，我们可以在github.com上找到它。

加载这个模板到ES:

$ curl -XPUT 'http://10.10.105.72:9200/_template/filebeat?pretty' -d@/home1/tonybai/filebeat.template.json
{
  "acknowledged" : true
}

如果看到curl的返回结果是true，那么说明加载ok了。

接下来，我们启动filebeat容器：

$ docker run -d --name filebeat -v /home1/tonybai/filebeat.yml:/filebeat.yml prima/filebeat
f93497ea816e5c4015e69376f98e791ca02b91a20145ee1366e4c15f6a706c10

我们到Kibana中看看是否能收到容器的日志。使用Kibana时，需要添加一个新的index pattern。按照manual中的要求，对于filebeat输送的日志，我们的index name or pattern应该填写为：”filebeat-“，不过我在kibana中添加default index ：filebeat- 一直失败，下面那个按钮一直是灰色的，并提示：“Unable to fetch mapping. Do you have indices matching the pattern”。

在filebeat的forum中找寻问题答案，有人提示：看看ElasticSearch中是否有filebeat传输来的日志。于是查看ElasticSearch日志以及通过ElasticSearch提供的API做了一番查询，发现filebeat根本没有日志传输过来。

回过头仔细想来，wow，居然没给filebeat容器挂在/var/lib/docker/containers目录，那么filebeat就没有权限访问容器日志，自然不会有日志传输到ES了，下面的输出也证实了这一点：

$ docker exec filebeat ls /var/lib/docker/containers
ls: cannot access /var/lib/docker/containers: No such file or directory

于是修改filebeat启动参数：

$docker run -d  --name filebeat -v /home1/tonybai/filebeat.yml:/filebeat.yml -v /var/lib/docker/containers:/var/lib/docker/containers prima/filebeat

一段时间后，我们就可以在Kibana上成功创建filebeat-* index pattern并看到filebeat输送过来的日志了。