kubespray离线创建kubernetes并与portal集成管理

本人最推荐的方案，集成度很高，flannel等网路信息都在etcd中有存储，不像rancher的rancherDNS存储在内存中，升级方便。可以自行扩展添加功能，支持多种插件选择。kubespray是一个基于Ansible的部署方案，操作系统支持绝大部分基于systemd的系统，什么ContainerLinux/Debian/Ubuntu/CentOS/RHEL/Fedora/CentOS Atomic/openSUSE 支持绝大部分的云平台，也支持OpenStack，vSphere等虚拟化方案。

kubespray也为我们准备好了高可用方案，支持绝大部分网络插件，DNS也支持很多类型，你可以根据自己的需要选择。

Github和官方文档上，目前也很完整。国内如果想要部署，简单修改一下部署配置，声明替换国外一些必要组件的镜像地址为本地下载docker load的镜像版本后，就可以一键部署安装了。

1

第一部分：kubesprary自动部署集群

获取安装包有几种常见方式，一种是下载github(https://github.com/kubernetes-sigs/kubespray/releases)或者git clone命令(git clone https://github.com/kubernetes-incubator/kubespray.git)下载。

然后手动在一台配置了docker proxy的能连通外网的机器上pull官方镜像，Suse需要安装docker ee企业版，需要设置 Docker 镜像仓库，通过以下命令进行设置。

安装完docker后，可以通过打上tag命令后push到本地的DTR镜像仓库。Kubespray默认部署calico比较复杂，本文阐述相对简单flannel的部署（还支持其他的canal, weave网络插件部署）。

以下docker镜像（三种国外原始镜像源k8s.gcr.io、quay.io、docker.io均可尝试）上传到本地镜像仓库（其中五个k8s核心重要组件尽量下载二进制文件，后面章节会提到），通过docker pull命令下载其他本地安装必备介质：

k8s.gcr.io/cluster-proportional-autoscaler-amd64:1.3.0

k8s.gcr.io/pause-amd64:3.1

k8s.gcr.io/etcd:3.2.24

nginx:1.13

k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0

k8s.gcr.io/coredns:1.2.6

k8s.gcr.io/k8s-dns-node-cache:1.12.7

quay.io/coreos/flannel:v0.10.0-amd64

quay.io/coreos/flannel-cni:v0.3.0

1. apiserver 提供资源操作的唯一入口，并提供认证，授权，访问控制API注册和发现等机制

2. scheduler 负责资源的调度，按照预定的调度策略将POD调度到相应节点上

3. controller 负责维护集群的状态，如故障检测，自动扩展，滚动更新等

1.kubelet 维护容器的声明周期，同时也负载挂载和网络管理

2.kube-proxy 负责为service提供cluster内部服务的服务发现和负载均衡

1. etcd 保存整个集群状态

2. flannel 为集群提供网络环境

1. coreDNS 负责为整个集群提供DNS服务

2. ingress controller 为服务提供外网入口

3. promentheus 提供资源监控（目前行内用的zabbix监控）

4. dashboard 提供GUI

所有的主机都需要关闭selinux，执行的命令如下：

setenforce 0

sed-i–follow-symlinks ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/sysconfig/selinux

所有主机也要关闭防火墙：

systemctl stop SuSEfirewall2.service

systemctl stop SuSEfirewall2_init.service

systemctl disable SuSEfirewall2.service

systemctldisable SuSEfirewall2_init.service

iptables ipv4转发需开启：

sysctl -w net.ipv4.ip_forward=1

sysctl -p

关闭所有节点swap

swapoff -a

安装前依赖包的问题，启动kubespray需要很多系统必备依赖包，其中最容易遗漏socat安装包。

fatal: [NODE9]: FAILED! => {“attempts”: 4, “changed”: false, “cmd”: [“/usr/bin/zypper”, “–quiet”, “–non-interactive”, “–xmlout”, “install”, “–type”, “package”, “–auto-agree-with-licenses”, “–no-recommends”, “–“, “+device-mapper”, “+ebtables”, “+openssl”, “+curl”, “+rsync”, “+socat”, “+unzip”, “+e2fsprogs”, “+xfsprogs”], “msg”: “Zypper run command failed with return code 8.”, “rc”: 8, “stderr”: “”,  “stdout”: There are no incompatibility issues.\n<solvable type=\"package\" name=\"socat\" edition=\"1.7.2.4-3.1\" arch=\"x86_64\" summary=\"

kubernetes：1.14

kubesprary：v2.10.4

Docker：17.06 Enterprise Edition

Operating System：SuSE Linux Enterprise Server 12 SP3

github下载好kubesprary后，开始安装setuptools，然后再安装pip组件，根据requirement.txt列表解决安装依赖包，安装相关联的前置组件，这个也可以通过外网机提前下载好，我这边是提前批量传好，其中python2下需要安装如下组件：

安装后检查ansible版本，如输出有版本信息，说明安装成功。

ansible –version

deploy-server⽣成ssh秘钥对ssh-keygen，通过ssh-copy-id命令就可以完成公钥deploy-server的公钥id_rsa.pub拷贝。记得首次需要从deploy-server完成一次到所有节点的ssh免密登录。

首先，进入inventory目录下，同级复制sample为mycluster目录，，编辑初始化的主机列表：其中ansible_host和ip填实际ip，ip为同网段可通的，默认安装calico，但本次部署较为简单的flannel网络组件，故calico-rr路由反射不配置，vault为集群证书管理功能，一般为master节点。

declare -a IPS=(5台主机IP，每个IP之间空格隔开)

CONFIG_FILE=inventory/mycluster/hosts.ini HOST_PREFIX=NODE python3

contrib/inventory_builder/inventory.py ${IPS[@]}

其次替换如下必备组件，图1是必须修改的本地镜像库地址，务必要修改正确，否则可能造成部署报错，其中图2、3重要信息为nginx版本和kube_version、etcd version、flannel_cni、coredns版本要对应正确：

将以下安装包下载后，在正式部署前上传⾄每个节点的/tmp/kubernetes-release,⽬录如果不存在，使⽤root⽤户创建即可。其中，hyperkube模块就是把各种功能集成到一个可执行文件，然后在运行时指定模块(2.12 kubespray版本已经开始废弃此功能，默认加了kubeadm_use_hyperkube_image: False默认指定)。cni-plugin会在指定的network ns中创建veth pair，kubeadm 是 kubernetes 的集群安装工具，其余组件已经在开篇用docker从外网镜像站下载并打包成tar包并导入到dtr中，下面不再罗列。

roles/containerengine/docker/vars/suse.yml编辑该文件，修改docker引擎为docker-ee。

在roles/kubernetes/preinstall/tasks/0020-verify-settings.yml中删除以下校验主机名必须小写的内容：

– name: Stop if bad hostname

assert:

that: inventory_hostname is match(“[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]

([-a-z0-9]*[a-z0-9])?)*$”)

msg: “Hostname must consist of lower case alphanumeric characters, ‘.’ or ‘-

‘, and must start and end with an alphanumeric character”

ignore_errors: “{{ ignore_assert_errors }}”

ansible-playbook -i inventory/mycluster/hosts.ini –become –become-user=root

cluster.yml

官⽅清除⼯具

#使⽤ansible⼯具reset环境

ansible-playbook -i inventory/mycluster/hosts.ini –become –become-user=root

reset.yml

确认是否还有容器正在运⾏，并且删除所有docker镜像（确保所有的docker镜像都是跟本次部署相关），卸载删除docker ee软件，删除systemd的相关⽂件：

rm -rf /etc/systemd/system/multi-user.target.wants/etcd.service

rm -rf /etc/systemd/system/multi-user.target.wants/kubelet.service

rm -rf /etc/systemd/system/docker.service*

systemctl daemon-reload

2

第二部分：集成portal管理

mkdir -p /opt/cfssl/bin

将三个二进制可执行文件拷贝至/opt/cfssl/bin目录下

mv cfssl_linux-amd64 /opt/cfssl/bin/cfssl

mv cfssljson_linux-amd64 /opt/cfssl/bin/cfssljson

mv cfssl-certinfo_linux-amd64 /opt/cfssl/bin/cfssl-certinfo

chmod +x /opt/cfssl/bin/*

echo ‘export PATH=$PATH:/opt/cfssl/bin’ >> ~/.bashrc;source ~/.bashrc

mkdir -p /root/k8s-replace-cert

echo “export k8s_cert_dir=/root/k8s-replace-cert” >> ~/.bashrc;source ~/.bashrc

mkdir -vp $k8s_cert_dir/{CA/,apiserver/,apiserverkubelet/,

kubelet/{client,server},kubectl/,controller-manager/,scheduler}

master任一节点操作，创建master与两个worker节点的互信证书目录：

mkdir -vp $k8s_cert_dir/kubelet/NODE9/{client,server}

mkdir -vp $k8s_cert_dir/kubelet/NODE10/{client,server}

mkdir -p /root/k8s-replace-cert

echo “export k8s_cert_dir=/root/k8s-replace-cert” >> ~/.bashrc;source ~/.bashrc

mkdir-vp $k8s_cert_dir/{CA/,kubelet/{client,server}}

证书有效期为20年(175200h)

kubernetes-server profile用于server证书生成

kubernetes-client profile用于client证书生成

1.进入对应证书目录

2.创建csr json（这里server的kube-apiserver需要输入整个节点的主机名和ip信息，还有域名信息、kubelet-server的CN注意确保生成完date命令生效已转变为实际时间，且所有证书CN需要小写lowercase,（可以详见k8s中文说明））

3.通过cfssl gencert pem产生pem临时证书，包含私钥

一共有3个kubelet.conf、scheduler.conf、controller-manager.conf,其构成确保有4段，分别为cluster（带有主机名和集群域名的证书信息）、contexts（带有集群域名标识）各一段和users两端客户端验证秘钥。

创建完成后，master证书根目录下每个节点各36个文件，worker证书个目录下每个节点各6个文件。

分别为kubelet server auth和client auth证书制作两步（在master1节点上完成）。

上面讲述了制作两种类型的证书基本操作步骤，重要的是csr请求文件，csr分四种类型：

1.ca-config.json(ca证书请求文件创建，用于派生其他关联证书,前面已列举)

2.apiserver(apiserver-csr.json)

黑色省去了主机三个master节点对应的ip，其中0.1地址为内部通讯的service ip

cp -r /etc/kubernetes /etc/kubernetes-bak

cp -r /var/lib/kubelet/pki /var/lib/kubelet/pki-bak

备份好所有的文件后，就可以开始拷贝server证书到对应的/etc/kubernetes/ssl目录下了，这里必须是/etc/kubernetes的子目录：

该文件共有三段client CA证书:

1.集群CA证书

2.集群client CA证书—容器平台用户使用portal生成的kubeconfig访问apiserver

3.portal所在集群CA证书—容器平台用户使用portal本身访问apiserver

#登录portal根证书节点，拷贝portal CA证书至三个master节点

scp portal-ca.pem NODE6:/root/k8s-replace-cert/CA/portal-ca.crt

scp portal-ca.pem NODE7:/root/k8s-replace-cert/CA/portal-ca.crt

scp portal-ca.pem NODE8:/root/k8s-replace-cert/CA/portal-ca.crt

cat /etc/kubernetes/ssl/ca.crt >> /etc/kubernetes/ssl/apiserver-ca.crt

cat $k8s_cert_dir/CA/clientCA.crt >> /etc/kubernetes/ssl/apiserver-ca.crt

cat $k8s_cert_dir/CA/portal-ca.crt >> /etc/kubernetes/ssl/apiserver-ca.crt

默认Dashboard是通过Kube-proxy访问的，由于容器平台portal使用nodeport进行访问，因此在部署完成后，需要修改dashboard相关services配置，详见github说明：

https://github.com/kubernetes/dashboard/wiki/Accessing-Dashboard—1.7.X-and-above

kubectl -n kube-system edit service kubernetes-dashboard

spec:

clusterIP:

externalTrafficPolicy: Cluster

ports:

– nodePort: 30443 ###添加指定端口

port: 443

protocol: TCP

targetPort: 8443

selector:

k8s-app: kubernetes-dashboard

sessionAffinity: None

type: NodePort ### ClusterIP修改为Nodeport

status:

loadBalancer: {}

mkdir -p /etc/kubernetes/ssl/dashboard

cp /etc/kubernetes/ssl/apiserver-ca.crt /etc/kubernetes/ssl/dashboard/dashboard-ca.crt

cp /etc/kubernetes/ssl/apiserver.crt /etc/kubernetes/ssl/dashboard/dashboard.crt

cp /etc/kubernetes/ssl/apiserver.key /etc/kubernetes/ssl/dashboard/dashboard.key

cat $k8s_cert_dir/CA/clientCA.crt >> /etc/kubernetes/ssl/dashboard/dashboard.crt

cat $k8s_cert_dir/CA/portal-ca.crt >> /etc/kubernetes/ssl/dashboard/dashboard.crt

kubectl -n kube-system delete secrets kubernetes-dashboard-certs

kubectl create secret generic kubernetes-dashboard-certs –fromfile=/

etc/kubernetes/ssl/dashboard -n kube-system

kubectl -n kube-system edit deployments kubernetes-dashboard

spec:

nodeSelector: ####添加

node-role.kubernetes.io/master: “” ####添加

containers:

– args:

– –auto-generate-certificates #删除

– –tls-key-file=dashboard.key ####添加

– –tls-cert-file=dashboard.crt ####添加

– –authentication-mode=token

– –token-ttl=900

image: /lzq/kubernetes-dashboard-amd64:v1.10.0

imagePullPolicy: IfNotPresent

对接完dashboard，控制台还不是不能正常显示，无法展示控制台的更多的功能，还会报如下错误：

User “system:serviceaccount:kube-system:kubernetes-dashboard” cannot list resource “events” in API group “” in the namespace “default”

通过查看pod日志：

但是默认是没有创建完全RBAC的管理role，需要添加，并用kubectl apply -f dashboard-clusterrole.yaml创建，文件内容如下：

apiVersion: rbac.authorization.k8s.io/v1beta1

kind: ClusterRoleBinding

metadata:

name: kubernetes-dashboard

labels:

k8s-app: kubernetes-dashboard

roleRef:

apiGroup: rbac.authorization.k8s.io

kind: ClusterRole

name: cluster-adminsubjects:

– kind: ServiceAccount

name: kubernetes-dashboard

namespace: kube-system

3

第三部分：常见问题处理和容器混淆参数说明

Kubespray支持多种下载/上传模式。默认值为：

每个节点自己下载二进制文件和容器映像，这是download_run_once:False。对于K8s应用程序，提取策略为k8s_image_pull_policy：IfNotPresent。对于诸如kubelet或etcd之类的系统管理的容器,拉策略为download_always_pull：False，如果仅所需的回购和tag/sha256摘要与主机的不同，则为拉。还有“一次拉动，多次推”模式：

设置download_run_once:True将使kubespray仅下载一次容器映像和二进制文件，然后将它们推送到群集节点。默认的下载委托节点是第一个kube-master。

设置download_localhost：为True可使localhost成为下载委托。如果群集节点无法访问外部地址，这将很有用。要使用此功能，需要在ansible主服务器上安装并运行docker，并且当前用户位于docker组中，或者可以执行无密码sudo，才能访问docker。

注意：当download_run_once为true且download_localhost为false时，所有下载将在委托节点上完成，包括该节点上不需要的容器镜像的下载。结果，该节点上所需的存储可能比download_run_once为false时要多，因为所有映像都将加载到该节点上的docker实例中，而不仅仅是该节点所需的映像。

缓存时：

当download_run_once为True时，所有下载的文件都将本地缓存在download_cache_dir中，默认值为/tmp/kubespray_cache。在随后的供应运行中，此本地缓存将用于供应节点，从而最大程度地减少带宽使用并缩短供应时间。预计在ansible节点上约有800MB的磁盘空间可用于缓存。 kubernetes节点上的镜像缓存所需的磁盘空间与最大镜像所需的磁盘空间差不多，目前最大磁盘空间略小于150MB。

默认情况下，如果download_run_once为false，则kubespray不会将下载的镜像和文件从下载委托节点检索到本地缓存，也不会使用该缓存预先设置这些节点。如果您具有包含容器映像和文件的完整缓存，并且不需要下载任何内容，但是想要使用缓存，则将download_force_cache设置为True。

默认情况下，用于预配置远程节点的缓存映像将在使用后从远程节点中删除，以节省磁盘空间。设置download_keep_remote_cache将防止文件被删除。这在开发kubespray时很有用，因为它可以减少预配时间。结果，远程节点上所需的镜像存储空间将从150MB增加到大约550MB，这是当前所有所需容器镜像的总大小。

容器镜像和二进制文件由vars描述，如foo_version，foo_download_url，用于二进制文件的foo_checksum和用于容器的foo_image_repo，foo_image_tag或可选的foo_digest_checksum。

林子强

2015年初加入民生银行，一直从事linux、AIX、vmware系统运维，参加过民生多个灾备系统项目的项目部分搭建，现对容器这块有一定的研究，期望能让更多的人分享学到技术的快乐！