1.简介

1.1 swarm是什么

Swarm是使用 SwarmKit构建的 Docker 引擎内置（原生）的集群管理和编排工具。其主要作用是把若干台Docker主机抽象为一个整体，并且通过一个入口统一管理这些Docker主机上的各种Docker资源。Swarm和Kubernetes比较类似，但是更加轻量，具有的功能也较kubernetes更少一些。

Docker v1.12 是一个非常重要的版本，Docker 重新实现了集群的编排方式。在此之前，提供集群功能的 Docker Swarm 是一个单独的软件，而且依赖外部数据库（比如 Consul、etcd 或 Zookeeper）。从 v1.12 开始，Docker Swarm 的功能已经完全与 Docker Engine 集成，要管理集群，只需要启动 Swarm Mode。安装好 Docker，Swarm 就已经在那里了，服务发现也在那里了（不需要安装 Consul 等外部数据库）。

Docker的Swarm(集群)模式，集成很多工具和特性，比如：跨主机上快速部署服务，服务的快速扩展，集群的管理整合到docker引擎，这意味着可以不可以不使用第三方管理工具。分散设计，声明式的服务模型，可扩展，状态协调处理，多主机网络，分布式的服务发现，负载均衡，滚动更新，安全（通信的加密）等等。

官方网站： https://docs.docker.com/engine/swarm/

1            
2            
3            
4            
5            
6            
7            
8            
9            
10            
11            
12            
13            
14            
15            

# 创建overlay网络：mynet            
$ docker network create -d overlay mynet              
a59umzkdj2r0ua7x8jxd84dhr            
# 利用mynet网络创建myservice服务，并复制两份              
$ docker service create --network mynet --name myservice --replicas 2 busybox ping localhost              
78t5r8cr0f0h6k2c3k7ih4l6f5            
# 通过下面的命令查看myservice对应的虚拟IP            
$ docker service inspect myservice              
...            
"VirtualIPs": [            
{              
"NetworkID": "a59umzkdj2r0ua7x8jxd84dhr",              
"Addr": "10.0.0.3/24"              
},              
]            

注：swarm中服务还有另外一种负载均衡技术可选DNS round robin (DNS RR) （在创建服务时通过–endpoint-mode配置项指定），在DNSRR模式下，docker不再为服务创建VIP，docker DNS服务直接利用轮询的策略把服务名称直接解析成一个容器的IP地址。

• Exteral LB（Ingress LB 或者 Swarm Mode Routing Mesh)

看名字就知道，这个负载均衡方式和前面提到的Ingress网络有关。Swarm网络要提供对外访问的服务就需要打开公开端口，并映射到宿主机。Ingress LB就是外部通过公开端口访问集群时做的负载均衡。

当创建或更新一个服务时，你可以利用–publish选项把一个服务暴露到外部，在docker swarm模式下发布一个端口意味着在集群中的所有节点都会监听这个端口，这时当访问一个监听了端口但是并没有对应服务运行在其上的节点会发生什么呢？ 接下来就该我们的路由网（routing mesh）出场了，路由网时docker1.12引入的一个新特性，它结合了IPVS和iptables创建了一个强大的集群范围的L4层负载均衡，它使所有节点接收服务暴露端口的请求成为可能。当任意节点接收到针对某个服务暴露的TCP/UDP端口的请求时，这个节点会利用预先定义过的Ingress overlay网络，把请求转发给服务对应的虚拟IP。ingress网络和其他的overlay网络一样，只是它的目的是为了转换来自客户端到集群的请求，它也是利用我们前一小节介绍过的基于VIP的负载均衡技术。

启动服务后，你可以为应用程序创建外部DNS记录，并将其映射到任何或所有Docker swarm节点。你无需担心你的容器具体运行在那个节点上，因为有了路由网这个特性后，你的集群看起来就像是单独的一个节点一样。

1            
2            

#在集群中创建一个复制两份的服务，并暴露在8000端口            
$ docker service create --name app --replicas 2 --network appnet --publish 8000:80 nginx            

上面这个图表明了路由网是怎么工作的：

• 服务（app）拥有两份复制，并把端口映射到外部端口的8000
• 路由网在集群中的所有节点上都暴露出8000
• 外部对服务app的请求可以是任意节点，在本例子中外部的负载均衡器将请求转发到了没有app服务的主机上
• docker swarm的IPVS利用ingress overlay网路将请求重新转发到运行着app服务的节点的容器中

注：以上服务发现和负载均衡参考文档 https://success.docker.com/article/ucp-service-discovery

2.3 Services 架构

在微服务部署的过程中，通常将某一个微服务封装为 Service 在 Swarm 中部署执行，通常你需要通过指定容器 image 以及需要在容器中执行的 Commands 来创建你的 Service，除此之外，通常，还需要配置如下选项，

• 指定可以在 Swarm 之外可以被访问的服务端口号 port，
• 指定加入某个 Overlay 网络以便 Service 与 Service 之间可以建立连接并通讯，
• 指定该 Service 所要使用的 CPU 和 内存的大小，
• 指定一个滚动更新的策略 (Rolling Update Policy)
• 指定多少个 Task 的副本 (replicas) 在 Swarm 集群中同时存在

2.3.1 服务和任务

Services，Tasks 和 Containers 之间的关系可以用上面这张图来描述。来看这张图的逻辑，表示用户想要通过 Manager 节点部署一个有 3 个副本的 Nginx 的 Service，Manager 节点接收到用户的 Service definition 后，便开始对该 Service 进行调度，将会在当前可用的Worker（或者Manager ）节点中启动相应的 Tasks 以及相关的副本；所以可以看到，Service 实际上是 Task 的定义，而 Task 则是执行在节点上的程序。

Task 是什么呢？其实就是一个 Container，只是，在 Swarm 中，每个 Task 都有自己的名字和编号，如图，比如 nginx.1、nginx.2 和 nginx.3，这些 Container 各自运行在各自的 node 上，当然，一个 node 上可以运行多个 Container；

2.3.2 任务调度

Docker swarm mode 模式的底层技术实际上就是指的是调度器( scheduler )和编排器( orchestrator )；下面这张图展示了 Swarm mode 如何从一个 Service 的创建请求并且成功将该 Service 分发到两个 worker 节点上执行的过程。

• 首先，看上半部分Swarm manager
  1. 用户通过 Docker Engine Client 使用命令 docker service create 提交 Service definition，
  2. 根据 Service definition 创建相应的 Task，
  3. 为 Task 分配 IP 地址，
     注意，这是分配运行在 Swarm 集群中 Container 的 IP 地址，该 IP 地址最佳的分配地点是在这里，因为 Manager 节点上保存得有最新最全的 Tasks 的状态信息，为了保证不与其他的 Task 分配到相同的 IP，所以在这里就将 IP 地址给初始化好；
  4. 将 Task 分发到 Node 上，可以是 Manager 节点也可以使 Worker 节点，
  5. 对 Worker 节点进行相应的初始化使得它可以执行 Task
• 接着，看下半部分Swarm Work
  该部分就相对简单许多
  1. 首先连接 manager 的分配器( scheduler)检查该 task
  2. 验证通过以后，便开始通过 Worker 节点上的执行器( executor )执行；

注意，上述 task 的执行过程是一种单向机制，比如它会按顺序的依次经历 assigned, prepared 和 running 等执行状态，不过在某些特殊情况下，在执行过程中，某个 task 失败了( fails )，编排器( orchestrator )直接将该 task 以及它的 container 给删除掉，然后在其它节点上另外创建并执行该 task；

2.3.3 调度策略

Swarm在scheduler节点（leader节点）运行容器的时候，会根据指定的策略来计算最适合运行容器的节点，目前支持的策略有：spread, binpack, random。

　　1）Random 顾名思义，就是随机选择一个Node来运行容器，一般用作调试用，spread和binpack策略会根据各个节点的可用的CPU, RAM以及正在运 行的容器的数量来计算应该运行容器的节点。

　　2）Spread 在同等条件下，Spread策略会选择运行容器最少的那台节点来运行新的容器，binpack策略会选择运行容器最集中的那台机器来运行新的节点。 使用Spread策略会使得容器会均衡的分布在集群中的各个节点上运行，一旦一个节点挂掉了只会损失少部分的容器。

　　3）Binpack Binpack策略最大化的避免容器碎片化，就是说binpack策略尽可能的把还未使用的节点留给需要更大空间的容器运行，尽可能的把容器运行在 一个节点上面。(The binpack strategy causes Swarm to optimize for the container which is most packed.)

2.3.4 服务副本与全局服务

Docker Swarm支持服务的扩容缩容，Swarm通过 --mode选项设置服务类型，提供了两种模式：一种是replicated，我们可以指定服务Task的个数（也就是需要创建几个冗余副本），这也是Swarm默认使用的服务类型；另一种是global，这样会在Swarm集群的每个Node上都创建一个服务。如下图所示（出自Docker官网），是一个包含replicated和global模式的Swarm集群：

上图中，黄色表示的replicated模式下的Service Replicas，灰色表示global模式下Service的分布。

在Swarm mode下使用Docker，可以实现部署运行服务、服务扩容缩容、删除服务、滚动更新等功能，下面我们详细说明。

3.集群搭建

3.1 环境配置

虚拟机信息

为验证后续的swarm manager 高可用，将这三台节点都配置成为Manager节点。

3.2 前置准备

3.2.1 修改主机名

1            

hostnamectl --static --transient set-hostname swarm01            

修改/etc/hosts 。三台主机上均设置一致。

1            
2            
3            
4            
5            
6            

[root@swarm01 ~]# cat /etc/hosts            
127.0.0.1   swarm-manager localhost localhost.localdomain localhost4 localhost4.localdomain4            
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6            
172.21.111.56 swarm01            
172.21.111.57 swarm02            
172.21.111.58 swarm03            

3.2.2 配置互信

1            
2            

ssh-keygen -t rsa            
ssh-copy-id -i .ssh/id_rsa.pub 172.21.111.57            

3.2.3 关闭防火墙和SELinux

1            
2            

systemctl disable firewalld            
systemctl stop firewalld            

修改 /etc/selinux/config ，修改配置项SELINUX=enforcing为disabled。

3.2 安装Docker服务

如前文所示，从 v1.12 开始，Docker Swarm 的功能已经完全与 Docker Engine 集成，要管理集群，只需要启动 Swarm Mode。安装好 Docker，Swarm 就已经在那里了，服务发现也在那里了（不需要安装 Consul 等外部数据库）。配置好yum 源之后，即可安装docker-ce。

1            
2            
3            

yum install -y docker-ce            
systemctl enable docker            
systemctl start docker            

3.3 集群初始化

3.2.1 初始化主节点

使用命令 docker swarm init即可初始化当前节点为主节点。如果主机上有多张网卡的时候，需指定网卡 docker swarm init --advertise-addr [IP] --listen-addr [IP:PORT]

节点自动解锁： docker swarm init –autolock=false

1            
2            
3            
4            
5            
6            
7            
8            

[root@swarm01 ~]# docker swarm init --autolock=false  --advertise-addr 172.21.111.56 --listen-addr 172.21.111.56:2377            
Swarm initialized: current node (epoic1y0vv830vnwbc6nnacjc) is now a manager.            

To add a worker to this swarm, run the following command:            

docker swarm join --token SWMTKN-1-5t9jv2o6z3ep9mk5c2ae41bpqojla1g8cfjo3qlsuj2sxi934l-af2x3lh8vs6dnpepy66kdw5mv 172.21.111.56:2377            

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.            

此例，在swarm01中创建了主节点。从输出中，看到添加集群有两种方式，一种是以manager 的方式添加，一种则是以worker节点方式添加。默认输出只给出了添加worker的命令，manager 命令则需要通过 docker swarm join-token manager获取。

1            
2            
3            
4            

[root@swarm01 ~]# docker swarm join-token manager            
To add a manager to this swarm, run the following command:            

docker swarm join --token SWMTKN-1-5t9jv2o6z3ep9mk5c2ae41bpqojla1g8cfjo3qlsuj2sxi934l-eszh52z00ktao9j7lovfvjgqy 172.21.111.56:2377            

3.2.2 添加manager 节点

分别登陆swarm02、swarm03，执行上一节得到的命令。

1            
2            

[root@swarm03 ~]#docker swarm join --token SWMTKN-1-5t9jv2o6z3ep9mk5c2ae41bpqojla1g8cfjo3qlsuj2sxi934l-eszh52z00ktao9j7lovfvjgqy 172.21.111.56:2377            
This node joined a swarm as a manager.            

注：不要在节点上配置http代理，否则会添加节点失败。

3.2.3 离开集群

如果想退出集群，可以在该节点上直接退出。

1            
2            

[root@swarm03 ~]# docker swarm leave            
[root@swarm03 ~]# docker swarm leave --force            

3.2.4 查看集群节点信息

登陆任意一台Manager节点。都可以查看当前集群的节点信息。

1            
2            
3            
4            
5            

[root@swarm02 ~]# docker node ls            
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION            
epoic1y0vv830vnwbc6nnacjc     swarm01             Ready               Active              Leader              18.03.1-ce            
nsqqv181e0r7mu77azixtqhzl *   swarm02             Ready               Active              Reachable           18.03.1-ce            
mkkxaeqergz8xw21bbkd47q1c     swarm03             Ready               Active              Reachable           18.03.1-ce            

上面信息中，AVAILABILITY表示Swarm Scheduler是否可以向集群中的某个Node指派Task，对应有如下三种状态：

• Active：集群中该Node可以被指派Task
• Pause：集群中该Node不可以被指派新的Task，但是其他已经存在的Task保持运行
• Drain：集群中该Node不可以被指派新的Task，Swarm Scheduler停掉已经存在的Task，并将它们调度到可用的Node上

另外，可以看到Manager Status状态也有分类，分别是Leader、Reacheable、Unreachable。

• Leader：对应Raft算法的Leader节点
• Reacheable：对应Raft算法的Flower节点，网络可达、可用的Flower节点
• Unreachable：对应Raft算法的Flower节点，网络不可达、不可用的Flower节点

查看单个节点详细信息

1            

[root@swarm02 ~]# docker node inspect swarm01            

关于Node的其他操作，比如状态变更、添加标签、提权和降权等，详见附录2

4.高可用实践

4.1 应用服务管理

docker swarm 还可以使用 stack 这一模型，用来部署管理和关联不同的服务。stack 功能比service 还要强大，因为它具备多服务编排部署的能力。 stack file是一种 yaml 格式的文件，类似于 docker-compose.yml 文件，它定义了一个或多个服务，并定义了服务的环境变量、部署标签、容器数量以及相关的环境特定配置等。

以下实验仅仅创建利用stack 创建单一服务。

4.1.1 创建服务

服务配置文件docker-swarm.yml ，内容如下

1            
2            
3            
4            
5            
6            
7            
8            
9            
10            
11            
12            
13            
14            
15            
16            

version: '3'            
services:            
web:            
image: "httpd:v1"            
deploy:            
replicas: 3            
resources:            
limits:            
cpus: "0.5"            
memory: 256M            
restart_policy:            
condition: on-failure            
ports:            
- "7080:80"            
volumes:            
- /var/www/html:/usr/local/apache2/htdocs            

image: “httpd” ：httpd是docker hub 下载的镜像。提供简单的httpd服务，此处用来做服务都高可用验证。

replicas: 3 表示该服务副本有3个，可对服务副本进行扩缩容，后续会讲到。

/var/www/html:/usr/local/apache2/htdocs ：表示httpd 首页的内容。各个swarm节点上展示的内容分别是其主机名信息。

在docker-swarm.yml 同级目录下，执行命令

1            
2            
3            

[root@swarm01 swarm]# docker stack deploy -c docker-swarm.yml myservice            
Creating network myservice_default            
Creating service myservice_web            

4.1.2 查看服务

查看服务创建是否成功。

1            
2            
3            
4            
5            
6