久不弄k8s相关的内容,准备做一些关于k8s和容器相关内容的总结。先从k8s集群的安装开始,k8s集群的安装有两种方式:一种是基于原始的二进制包,通过手动安装的方式,配置好kube-proxy、kube-controller-manager、kube-apiserver、kube-scheduler、etcd、coredns等服务,这种安装方式的难点在于比较复杂的key配置和节点之间的关联,不过这种方式安装比较容易理解对于各组件用途、组件之间的关系,缺点就安装过程中比较复杂、耗时;第二种方式是基于docker容器的方式进行安装,这种安装方式比较快速,不过缺点是默认k8s.gcr.io镜像站是被屏蔽的,需要通过国内的镜像站安装。google官方文档给的是第二种方式。
一、ntp同步和时区配置
yum -y install ntp timedatectl set-timezone Asia/Shanghai ntpdate ntp.aliyun.com
二、基础软件配置
# 依赖软件安装 yum -y install conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git # iptables配置 systemctl stop firewalld && systemctl disable firewalld yum -y install lrzsz yum -y install iptables-services systemctl start iptables systemctl enable iptables iptables -F service iptables save # 关闭swap和selinux swapoff -a sed -i 's/.*swap.*/#&/' /etc/fstab setenforce 0 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config # tcp/ip参数优化设置 cat > kubernetes.conf << EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 vm.overcommit_memory=1 vm.panic_on_oom=0 fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF modprobe br_netfilter cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf # 持久化设置 mkdir /var/log/journal # 持久化保存日志的目录 mkdir /etc/systemd/journald.conf.d cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF [Journal] #持久化保存到磁盘 Storage=persistent # 压缩历史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 # 最大占用空间10G SystemMaxUse=10G # 单日志文件最大200M SystemMaxFileSize=200M # 日志保存时间 2 周 MaxRetentionSec=2week # 不将日志转发到 syslog ForwardToSyslog=no EOF systemctl restart systemd-journald # 内核升级(可不做) rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm yum --enablerepo=elrepo-kernel install -y kernel-lt grub2-set-default "CentOS Linux (4.4.182-1.el7.elrepo.x86_64) 7 (Core)" reboot uname -r # kube-proxy 负载均衡设置(使用ipvs时需要,如果使用iptables不需要,ipvs性能更好) cat > /etc/sysconfig/modules/ipvs.modules << EOF modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
三、docker镜像安装
# step 1: 安装必要的一些系统工具 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 # Step 2: 添加软件源信息 sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # Step 3 sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo # Step 4: 更新并安装Docker-CE sudo yum makecache fast sudo yum -y install docker-ce # Step 4: 开启Docker服务 sudo service docker start
注意:官方软件源默认启用了最新的软件,您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用,您可以通过vim /etc/yum.repos.d/docker-ce.repo 将[docker-ce-test]下方的enabled=0修改为enabled=1方式开启。同理可以开启各种
测试版本等。
安装指定版本的Docker-CE:
Step 1: 查找Docker-CE的版本: # yum list docker-ce.x86_64 --showduplicates | sort -r Loading mirror speeds from cached hostfile Loaded plugins: branch, fastestmirror, langpacks docker-ce.x86_64 17.03.1.ce-1.el7.centos docker-ce-stable docker-ce.x86_64 17.03.1.ce-1.el7.centos @docker-ce-stable docker-ce.x86_64 17.03.0.ce-1.el7.centos docker-ce-stable Available Packages Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos) # yum -y install docker-ce-[VERSION]
四、k8s软件安装
这里的软件主要是kubelet kubeadm kubectl三个,先配置阿里源:
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF setenforce 0 yum install -y kubelet kubeadm kubectl systemctl enable kubelet && systemctl start kubelet
上面这些步骤在master节点和node节点上都要操作。如果还需要安装docker-compose软件,可以使用epel源进行安装,epel源配置如下:
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
还有自动补全等可选功能,也可以安装,具体如下:
# docker开机启动 systemctl enable docker # 命令补全(输命令时按tab补全) apt-get -y install bash-completion || yum -y install bash-completion source /usr/share/bash-completion/bash_completion echo "source /usr/share/bash-completion/bash_completion" >> ~/.bashrc # docker命令补全 curl -L https://raw.githubusercontent.com/docker/docker/v$(docker version -f "{{.Client.Version}}")/contrib/completion/bash/docker -o /etc/bash_completion.d/docker curl -L https://raw.githubusercontent.com/docker/compose/$(docker-compose version --short)/contrib/completion/bash/docker-compose -o /etc/bash_completion.d/docker-compose # k8s命令补全 kubectl completion bash >/etc/bash_completion.d/kubectl kubeadm completion bash >/etc/bash_completion.d/kubeadm source /etc/bash_completion.d/kubectl source /etc/bash_completion.d/kubeadm
五、master节点配置
由于k8s.gcr.io被墙了,国内可以使用registry.cn-hangzhou.aliyuncs.com/google_containers/进行下载,下载完成后,再把镜像名称改成k8s.gcr.io/。
# 下载&命名组件 proxy_prefix='registry.cn-hangzhou.aliyuncs.com/google_containers/' correct_prefix='k8s.gcr.io/' need_images=($(kubeadm config images list --v=1)) for i in ${need_images[*]} do down_name=${proxy_prefix}${i/${correct_prefix}/} docker pull ${down_name} docker tag ${down_name} ${i} docker rmi ${down_name} done
当前的版本也可以不用这嘛麻烦的方法,可以通使用kubeadm init –image-repository指定源为阿里的源。
master节点上的相关安装比较简单,主要是里面的自定义配置部分,可以通过yaml文件方式进行安装,也可以通过在参数里进行指定:
# 输出kubeadm的默认配置,通过修改配置,如下 kubeadm config print init-defaults > kubeadm-config.yaml vim kubeadm-config.yaml kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config kubectl get nodes wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl create -f kube-flannel.yml kubectl get pod -n kube-system
上面使用的是flannel网络进行的CNI安装,也可以使用其他网络方式,比如weave,操作步骤如下:
kubeadm init --kubernetes-version=1.15.1 --apiserver-advertise-address=192.168.175.128 --image-repository registry.aliyuncs.com/google_containers --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16 kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" kubectl get pod -n kube-system
后面node节点需要用的join token如果忘记了,可以使用 kubeadm token list 指令获取。
六、node节点配置
node节点除了安第四步及以前的步骤安装好必须环境后,直接可以通过如下命令加入node节点:
kubeadm join 192.168.175.128:6443 --token zgybfp.l2tymi4dnipc2bm7 \ --discovery-token-ca-cert-hash sha256:1be98571382adf5cfe70f3a91242a7beacf5e183d0d698a587ae9b5cc7b65ff3
master节点的token默认的有效时间是24小时,后面有新的node节点需要增加时,可以新增一个永不过期的token或者一个临时token,如下:
kubeadm token create --print-join-command
使用kubeadm token create创建新的token,kubeadm token create –ttl 0生成一个永不过期的token 。
hash sha256 cert如果忘记了,可以通过如下命令反解析出来:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
七、验证
安装完成后,在master节点执行如下命令确认:
[root@kube-maste ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION kube-maste Ready control-plane,master 7d8h v1.20.4 kube-node1 Ready <none> 7d8h v1.20.4 kube-node2 Ready <none> 7d8h v1.20.4
可以使用kubectl get nodes -o wide查看更详细的信息。