Kubernetes v1.10+Keepalived HA集群墙内部署实践

导读:众所周知,K8S安装难点在于镜像下载。查询网上许多关于K8S安装部署的文章,作者要么是将镜像下载使用的工作交给了读者完成,要么是放在共享云盘中,由读者下载后导入使用。都知道,如果你不是该云盘提供商的会员,镜像下载速度堪比蜗牛。总之,三个字:”不方便“。基于最大化便利刚接触K8S的同行快速上手实践的目的,在参阅了众多同行关于K8S部署的文章,并经过反复实验验证后,将本人的实验成果在这里分享,希望可以帮助有需要的朋友。由于时间仓促,一些对本文撰写有价值的文章没有仔细考证作者和出处,在本文末尾的参阅文章中可能没有注明。如你发现本文中一些内容的原创属于你本人,请邮件联系本人处理。并在此感谢对本文创作产生帮助的作者。谢谢!

本文K8S集群高可用方案采用Keepalived。

实验环境:
1、3台centos 1611版本虚拟机,mini安装。Linux localhost 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

2、docker version
Client:
Version: 1.13.1
API version: 1.26
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64

Server:
Version: 1.13.1
API version: 1.26 (minimum version 1.12)
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64
Experimental: false

3、etcd Version: 3.1.13

4、kubeadm,kubelet,kubectl,kube-cni版本如下:
-rw-r–r– 1 root root 18176678 Mar 30 00:08 5844c6be68e95a741f1ad403e5d4f6962044be060bc6df9614c2547fdbf91ae5-kubelet-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 17767206 Mar 30 00:07 8b0cb6654a2f6d014555c6c85148a5adc5918de937f608a30b0c0ae955d8abce-kubeadm-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 7945458 Mar 30 00:07 9ff2e28300e012e2b692e1d4445786f0bed0fd5c13ef650d61369097bfdd0519-kubectl-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 9008838 Mar 5 21:56 fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm

5、k8s网络组件:flannel:v0.10.0-amd64

6、实验网络规划如下:
host1 172.18.0.154/22
host2 172.18.0.155/22
host3 172.18.0.156/22
VIP 172.18.0.192/22

文章视频链接:https://pan.baidu.com/s/1XVagd765eGacuoR_cgesiQ

安装步骤:

0、请先从该链接下载后面步骤所需脚本https://pan.baidu.com/s/1oK7PRLeeYHrouNCRgIQlcQ

1、在3台主机中执行基础环境配置脚本 base-env-config.sh。

2、在主机1执行脚本 host1-base-env.sh

3、在主机2执行脚本 host2-base-env.sh

4、在主机3执行脚本 host3-base-env.sh

5、在host1主机执行如下命令
[root@host1 ~]# scp -r /etc/etcd/ssl root@172.18.0.155:/etc/etcd/

[root@host1 ~]# scp -r /etc/etcd/ssl root@172.18.0.156:/etc/etcd/

6、在3台主机中分别执行脚本 etcd.sh

7、查看keepalived状态
systemctl status keepalived

8、查看etcd运行状态
在host1,host2,host3分别执行如下命令:[参数名称前面是两个’-‘,注意]
etcdctl –endpoints=https://${NODE_IP}:2379 –ca-file=/etc/etcd/ssl/ca.pem –cert-file=/etc/etcd/ssl/etcd.pem –key-file=/etc/etcd/ssl/etcd-key.pem cluster-health

9、在3台主机上安装kubeadm,kubelet,kubctl,docker
yum install kubelet kubeadm kubectl kubernetes-cni docker -y

10、在3台主机禁用docker启动项参数关于SELinux的设置[参数名称前面是两个’-‘,注意]
sed -i ‘s/–selinux-enabled/–selinux-enabled=false/g’ /etc/sysconfig/docker

11、在3台主机的kubelet配置文件中添加如下参数[参数名称前面是两个’-‘,注意]
sed -i ‘9a\Environment=”KUBELET_EXTRA_ARGS=–pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/osoulmate/pause-amd64:3.0″‘ /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

12、在3台主机添加docker加速器配置(可选步骤)
cat <<EOF > /etc/docker/daemon.json
{
“registry-mirrors”: [“https://yourself.mirror.aliyuncs.com”] #请自行申请阿里云账号获取镜像加速链接
}
EOF

13、在3台主机分别执行以下命令
systemctl daemon-reload
systemctl enable docker && systemctl restart docker
systemctl enable kubelet && systemctl restart kubelet

14、在3台主机中分别执行kubeadmconfig.sh生成配置文件config.yaml

15、在host1主机中首先执行kubeadm初始化操作
命令如下:
kubeadm init –config config.yaml

16、在host1主机中执行初始化后操作
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

17、将主机host1中kubeadm初始化后生成的证书和密钥文件拷贝至host2,host3相应目录下
scp -r /etc/kubernetes/pki root@172.18.0.155:/etc/kubernetes/
scp -r /etc/kubernetes/pki root@172.18.0.156:/etc/kubernetes/

18、为主机host1安装网络组件 podnetwork【这里选用flannel】
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
systemctl stop kubelet    #由于kubelet会调用docker到默认url【谷歌】下载镜像,所以先禁用
systemctl restart docker
docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
systemctl start kubelet

19、在host2,host3上执行如下命令
kubeadm init –config config.yaml
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
systemctl stop kubelet #如果提示需要systemctl daemon-reload,则将守护进程重启后再停止kubelet服务。
systemctl restart docker
docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
systemctl start kubelet

20、查看集群各节点状态【这里仅在host1主机查看结果】
[root@host1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
host1 Ready master 5m v1.10.0
host2 Ready master 1m v1.10.0
host3 Ready master 1m v1.10.0
[root@host1 ~]# kubectl get po –all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-7997f8864c-k9dcx 1/1 Running 0 5m
kube-system coredns-7997f8864c-sv9rv 1/1 Running 0 5m
kube-system kube-apiserver-host1 1/1 Running 1 4m
kube-system kube-apiserver-host2 1/1 Running 0 1m
kube-system kube-apiserver-host3 1/1 Running 0 1m
kube-system kube-controller-manager-host1 1/1 Running 1 4m
kube-system kube-controller-manager-host2 1/1 Running 0 1m
kube-system kube-controller-manager-host3 1/1 Running 0 1m
kube-system kube-flannel-ds-88tz5 1/1 Running 0 1m
kube-system kube-flannel-ds-g9dpj 1/1 Running 0 2m
kube-system kube-flannel-ds-h58tp 1/1 Running 0 1m
kube-system kube-proxy-6fsvq 1/1 Running 1 5m
kube-system kube-proxy-g8xnb 1/1 Running 1 1m
kube-system kube-proxy-gmqv9 1/1 Running 1 1m
kube-system kube-scheduler-host1 1/1 Running 1 5m
kube-system kube-scheduler-host2 1/1 Running 1 1m
kube-system kube-scheduler-host3 1/1 Running 0 1m

21、高可用验证
将host1关机,在host3上执行
while true; do sleep 1; kubectl get node;date; done
在host2上观察keepalived是否已切换为主状态。

Q&A

1、为什么在kubeadm init时出现kubelet 版本不支持系统中安装的etcd的报错?

因为本文k8s管理组件kubeadm,kubectl,kubelet的安装源为阿里云源,阿里云源会和最新k8s版本保持同步。如出现版本不兼容的问题,请按照报错提示安装相应版本的etcd或kubelet,kubeadm,kubectl组件。

2、为什么安装时间同步软件chrony?

由于集群采用keepalived检测集群各节点的活动状态,如不能保证各节点时间同步,会导致心跳异常,进而影响集群的故障倒换。当然,你也可以采用其它时间同步措施,只要能保证各节点之间的时间同步即可。

3、步骤18中为什么用kubectl应用了网络组件后还要用docker pull从阿里云拉取镜像呢?

kubectl应用了flannel组件后默认会从谷歌镜像库中拉取镜像,所以要先停止kubelet服务,使其停止对docker的调用,在我们手动从阿里云拉取镜像后,再重启kubelet服务,k8s相关服务会自动识别镜像。在host2,host3主机kubeadm init完成后可能还会出现其它镜像包未拉取完成的情况,这时也可以采用这种方法:即停止kubelet服务,重启docker服务,手动拉取镜像【确定需要拉取那些镜像可先在主机上使用 kubectl get po –all-namespaces命令获取各主机镜像的当前状态。如READY列显示0/1表示镜像仍在拉取/创建中,可使用你下载的k8s压缩包中名称为阿里云镜像包的txt文档中的相应命令】,之后再启动kubelet服务。除flannel镜像外,理论上所有镜像在kubeadm init中都会从阿里云镜像库中拉取,所以,如果host2,host3在kubeadm init时有镜像没有拉取完成,可等待1-2分钟,如还未成功,直接重启kubelet服务即可。

参考文章:

[K8s 1.9实践]Kubeadm 1.9 HA 高可用 集群 本地离线镜像部署


https://docs.docker.com/install/linux/docker-ce/ubuntu/#os-requirements https://kubernetes.io/docs/setup/independent/install-kubeadm/
https://linux.cn/article-4764-1.html
https://blog.csdn.net/yjk13703623757/article/details/78997157

K8S中文社区微信公众号

评论 25

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #23

    cv

    往昔伤7个月前 (04-02)回复
  2. #22

    Job for etcd.service failed because a timeout was exceeded. See systemctl status etcd.service and journalctl -xe for details.
    [emoji:25cf] etcd.service – Etcd Server
    Loaded: loaded (/etc/systemd/system/etcd.service; enabled; vendor preset: disabled)
    Active: activating (auto-restart) (Result: timeout) since 一 2018-04-02 10:52:05 CST; 11ms ago
    Docs: https://github.com/coreos
    Main PID: 2472 (code=killed, signal=TERM)

    4月 02 10:52:05 d1 systemd[1]: Failed to start Etcd Server.
    4月 02 10:52:05 d1 systemd[1]: Unit etcd.service entered failed state.
    4月 02 10:52:05 d1 systemd[1]: etcd.service failed.

    威尔20117个月前 (04-02)回复
  3. #21

    [root@d1 ~]# systemctl start etcd
    Job for etcd.service failed because a timeout was exceeded. See systemctl status etcd.service and journalctl -xe for details.
    [root@d1 ~]# netstat -ntlp
    Active Internet connections (only servers)
    Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
    tcp 0 0 192.168.38.51:2379 0.0.0.0:* LISTEN 1482/etcd
    tcp 0 0 127.0.0.1:2379 0.0.0.0:* LISTEN 1482/etcd
    tcp 0 0 192.168.38.51:2380 0.0.0.0:* LISTEN 1482/etcd
    tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1041/sshd
    tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1176/master
    tcp6 0 0 :::2375 :::* LISTEN 1057/dockerd
    tcp6 0 0 :::3306 :::* LISTEN 1395/mysqld
    tcp6 0 0 :::22 :::* LISTEN 1041/sshd
    tcp6 0 0 ::1:25 :::* LISTEN 1176/master
    [root@d1 ~]# journalctl -xe
    4月 02 11:38:28 d1 etcd[1482]: e11ee0e624c591e6 became candidate at term 1462
    4月 02 11:38:28 d1 etcd[1482]: e11ee0e624c591e6 received MsgVoteResp from e11ee0e624c591e6 at term 1462
    4月 02 11:38:28 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to cb80f68b7f867c0d at term 1462
    4月 02 11:38:28 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to e4c5ac5207c18654 at term 1462
    4月 02 11:38:29 d1 etcd[1482]: health check for peer cb80f68b7f867c0d could not connect: dial tcp 192.168.38.52:2380: getsockopt: con
    4月 02 11:38:29 d1 etcd[1482]: health check for peer e4c5ac5207c18654 could not connect: dial tcp 192.168.38.53:2380: getsockopt: con
    4月 02 11:38:29 d1 etcd[1482]: e11ee0e624c591e6 is starting a new election at term 1462
    4月 02 11:38:29 d1 etcd[1482]: e11ee0e624c591e6 became candidate at term 1463
    4月 02 11:38:29 d1 etcd[1482]: e11ee0e624c591e6 received MsgVoteResp from e11ee0e624c591e6 at term 1463
    4月 02 11:38:29 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to cb80f68b7f867c0d at term 1463
    4月 02 11:38:29 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to e4c5ac5207c18654 at term 1463
    4月 02 11:38:31 d1 etcd[1482]: e11ee0e624c591e6 is starting a new election at term 1463
    4月 02 11:38:31 d1 etcd[1482]: e11ee0e624c591e6 became candidate at term 1464
    4月 02 11:38:31 d1 etcd[1482]: e11ee0e624c591e6 received MsgVoteResp from e11ee0e624c591e6 at term 1464
    4月 02 11:38:31 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to cb80f68b7f867c0d at term 1464
    4月 02 11:38:31 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to e4c5ac5207c18654 at term 1464
    4月 02 11:38:32 d1 etcd[1482]: publish error: etcdserver: request timed out
    4月 02 11:38:33 d1 etcd[1482]: e11ee0e624c591e6 is starting a new election at term 1464
    4月 02 11:38:33 d1 etcd[1482]: e11ee0e624c591e6 became candidate at term 1465
    4月 02 11:38:33 d1 etcd[1482]: e11ee0e624c591e6 received MsgVoteResp from e11ee0e624c591e6 at term 1465
    4月 02 11:38:33 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to cb80f68b7f867c0d at term 1465
    4月 02 11:38:33 d1 etcd[1482]: e11ee0e624c591e6 [logterm: 1359, index: 15] sent MsgVote request to e4c5ac5207c18654 at term 1465
    4月 02 11:38:34 d1 etcd[1482]: health check for peer cb80f68b7f867c0d could not connect: dial tcp 192.168.38.52:2380: getsockopt: con
    4月 02 11:38:34 d1 etcd[1482]: health check for peer e4c5ac5207c18654 could not connect: dial tcp 192.168.38.53:2380: getsockopt: con
    4月 02 11:38:34 d1 etcd[1482]: e11ee0e624c591e6 is starting a new election at term 1465
    4月 02 11:38:34 d1 etcd

    威尔20117个月前 (04-02)回复
  4. #20

    脚本编码问题,可能是使用的编辑器问题了,vim打开 :set ff=uninx ,wq保存恢复~

    qq1547716357个月前 (04-02)回复
  5. #19

    etcd 启动不了

    威尔20117个月前 (04-02)回复
  6. #18

    host2,host3两个节点的etcd安装成功了吗?

    最后的最后7个月前 (04-02)回复
  7. #17

    三个节点的etcd如果不是同时下载完成,单个节点启动会失败。可以等三个节点的etcd都下载成功了,再重启下etcd服务。

    最后的最后7个月前 (04-02)回复
  8. #16
  9. #15
  10. #14

    更正:
    1、脚本etcd.sh中第5行if [ -f etcd-v3.1.13-linux-amd64.tar.gz];then这句修改为if [ -f etcd-v3.1.13-linux-amd64.tar.gz ];then。后‘]’与文件名之间增加一个空格
    2、正文8,11步骤由于编排原因,”–“显示为’—”,使用时请注意

    最后的最后7个月前 (04-02)回复
  11. #13

    参考文章:
    https://www.kubernetes.org.cn/3536.html
    https://docs.docker.com/install/linux/docker-ce/ubuntu/#os-requirements https://kubernetes.io/docs/setup/independent/install-kubeadm/
    https://linux.cn/article-4764-1.html
    https://blog.csdn.net/yjk13703623757/article/details/78997157
    文章视频链接:https://pan.baidu.com/s/1XVagd765eGacuoR_cgesiQ
    更正:
    1、脚本etcd.sh中第5行if [ -f etcd-v3.1.13-linux-amd64.tar.gz];then这句修改为if [ -f etcd-v3.1.13-linux-amd64.tar.gz ];then。后‘]’与文件名之间增加一个空格
    2、正文8,11步骤由于编排原因,”–“显示为’—”,使用时请注意

    最后的最后7个月前 (04-02)回复
  12. #12

    麻烦再补充些添加node 的内容吧,谢谢

    陌上7个月前 (04-10)回复
    • 个人认为,k8s安装难点主要在于镜像的下载。本文想解决的问题也主要是这一方面,其它的方面,中文社区或其它网站都有很多文章可以参考。多查查吧,有实践才有收获,一次就成功也不见得就是好事

      最后的最后6个月前 (04-13)回复
  13. #11

    楼主好,看了你写的文章很受用,但是有些不解。本文您规划的IP有host1 172.18.0.154/22 host2 172.18.0.155/22 host3 172.18.0.156/22 VIP 172.18.0.192/22这四个,但是在您发的kubeadmconfig.sh脚本中却又多出来一个IP:172.18.0.160.请问这个IP是做什么用的?

    语柔6个月前 (04-11)回复
    • 先给你个赞。这是一处笔误,因为不影响kubeadm init,所以也安装成功了。你可以把它改成VIP的地址或者删掉172.18.0.160这个地址。

      最后的最后6个月前 (04-13)回复
  14. #10

    新人工作原因第一次接触linux,请各位大神指导一下,我在第一步中运行 base-env-config.sh,
    [root@k8s_master host2]# sh base-env-config.sh
    Failed to stop firewalld\x0d.service: Unit firewalld\x0d.service not loaded.
    Failed to execute operation: No such file or directory
    base-env-config.sh:行3: $’\r’: 未找到命令
    :swapoff 失败: 没有那个文件或目录
    :没有那个文件或目录stab
    base-env-config.sh:行6: $’\r’: 未找到命令
    usage: setenforce [ Enforcing | Permissive | 1 | 0 ]
    :没有那个文件或目录
    :没有那个文件或目录
    :没有那个文件或目录
    :没有那个文件或目录
    base-env-config.sh:行12: $’\r’: 未找到命令
    base-env-config.sh:行46: 警告:立即文档在第 13 行被文件结束符分隔 (需要 `EOF’),
    报错,但是我把脚本中的命令粘出来手动输入,没有任何问题,求指导。

    粽子6个月前 (04-13)回复
  15. #9

    This might take a minute or longer if the control plane images have to be pulled.
    第15步初始化的时候在这里一直不动了,在网上查也没有找到什么好的解决办法。

    粽子6个月前 (04-16)回复
  16. #8

    镜像是从阿里镜像库下载的。你先试下直接用阿里云镜像包中的命令是否可以下载镜像。
    另外这里的确需要等待一段时间,大概2到3分钟的时候,你可以再开一个终端,用docker images命令查询下是否已有镜像下载到本地,如果有,就耐心等待下,只要前面步骤正确,肯定是可以成功的。

    热爱6个月前 (04-16)回复
  17. #7

    您好,我也是etcd启动失败,导致下面都做不了,可以回复一下邮箱吗1120153928@qq.com,或者加一下微信,交流一下,目前装不成功没有经验很着急

    诉衷情6个月前 (04-17)回复
  18. #6

    你好,根据这个教程走下来后,全部都是主节点,如果要想加入几个从节点,要如何做呢?请指教,谢谢!

    空虚度6个月前 (04-25)回复
  19. #5

    请问下 kubeadmconfig.sh中的 token: b33a99.a244ef77531e4354是从哪里生成的,如何替换? 谢谢

    小晴天6个月前 (04-26)回复
  20. #4

    这个令牌是自定义的,你可以自己改成同样位数的令牌。

    热爱6个月前 (04-27)回复
  21. #3

    楼主 你好 我现在系统是ubuntu请问可以按照你发的文档里边的包的形式 我手动搭建kubernetes吗?

    暖色调1141在搜狐6个月前 (05-02)回复
  22. #2

    参考价值一般

    claud5个月前 (05-23)回复
  23. #1

    你好,我kubeadm init后coredns一直在pending,这是什么原因

    繁华似锦3个月前 (07-13)回复