Kubernetes安装配置 – 云原生之路

发表于2021年1月2日作者 admin

久不弄k8s相关的内容，准备做一些关于k8s和容器相关内容的总结。先从k8s集群的安装开始，k8s集群的安装有两种方式：一种是基于原始的二进制包，通过手动安装的方式，配置好kube-proxy、kube-controller-manager、kube-apiserver、kube-scheduler、etcd、coredns等服务，这种安装方式的难点在于比较复杂的key配置和节点之间的关联，不过这种方式安装比较容易理解对于各组件用途、组件之间的关系，缺点就安装过程中比较复杂、耗时；第二种方式是基于docker容器的方式进行安装，这种安装方式比较快速，不过缺点是默认k8s.gcr.io镜像站是被屏蔽的，需要通过国内的镜像站安装。google官方文档给的是第二种方式。

一、ntp同步和时区配置

yum -y install ntp
timedatectl set-timezone Asia/Shanghai
ntpdate ntp.aliyun.com

二、基础软件配置

# 依赖软件安装
yum -y install conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
# iptables配置
systemctl stop firewalld && systemctl disable firewalld
yum -y install lrzsz
yum -y install iptables-services
systemctl start iptables
systemctl enable iptables
iptables -F
service iptables save
# 关闭swap和selinux
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
# tcp/ip参数优化设置
cat > kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
modprobe br_netfilter
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf
# 持久化设置
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat  >  /etc/systemd/journald.conf.d/99-prophet.conf  <<EOF
[Journal]
#持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间10G
SystemMaxUse=10G
# 单日志文件最大200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald
# 内核升级（可不做）
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-lt
grub2-set-default "CentOS Linux (4.4.182-1.el7.elrepo.x86_64) 7 (Core)"
reboot
uname -r
# kube-proxy 负载均衡设置（使用ipvs时需要，如果使用iptables不需要，ipvs性能更好）
cat > /etc/sysconfig/modules/ipvs.modules << EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

三、docker镜像安装

# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# Step 4: 更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 开启Docker服务
sudo service docker start

注意：官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过vim /etc/yum.repos.d/docker-ce.repo 将[docker-ce-test]下方的enabled=0修改为enabled=1方式开启。同理可以开启各种

测试版本等。

安装指定版本的Docker-CE:

Step 1: 查找Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
  Loading mirror speeds from cached hostfile
  Loaded plugins: branch, fastestmirror, langpacks
  docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
  docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
  docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
  Available Packages
Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos)
# yum -y install docker-ce-[VERSION]

四、k8s软件安装

这里的软件主要是kubelet kubeadm kubectl三个，先配置阿里源：

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet

上面这些步骤在master节点和node节点上都要操作。如果还需要安装docker-compose软件，可以使用epel源进行安装，epel源配置如下：

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

还有自动补全等可选功能，也可以安装，具体如下：

# docker开机启动
systemctl enable docker
# 命令补全（输命令时按tab补全）
apt-get -y install bash-completion || yum -y install bash-completion
source /usr/share/bash-completion/bash_completion
echo "source /usr/share/bash-completion/bash_completion" >> ~/.bashrc
# docker命令补全
curl -L https://raw.githubusercontent.com/docker/docker/v$(docker version -f "{{.Client.Version}}")/contrib/completion/bash/docker -o /etc/bash_completion.d/docker
curl -L https://raw.githubusercontent.com/docker/compose/$(docker-compose version --short)/contrib/completion/bash/docker-compose -o /etc/bash_completion.d/docker-compose
# k8s命令补全
kubectl completion bash >/etc/bash_completion.d/kubectl
kubeadm completion bash >/etc/bash_completion.d/kubeadm
source /etc/bash_completion.d/kubectl
source /etc/bash_completion.d/kubeadm

五、master节点配置

由于k8s.gcr.io被墙了，国内可以使用registry.cn-hangzhou.aliyuncs.com/google_containers/进行下载，下载完成后，再把镜像名称改成k8s.gcr.io/。

# 下载&命名组件
proxy_prefix='registry.cn-hangzhou.aliyuncs.com/google_containers/'
correct_prefix='k8s.gcr.io/'
need_images=($(kubeadm config images list --v=1))
for i in ${need_images[*]}
do
	down_name=${proxy_prefix}${i/${correct_prefix}/}
	docker pull ${down_name}
	docker tag ${down_name} ${i}
	docker rmi ${down_name}
done

当前的版本也可以不用这嘛麻烦的方法，可以通使用kubeadm init –image-repository指定源为阿里的源。

master节点上的相关安装比较简单，主要是里面的自定义配置部分，可以通过yaml文件方式进行安装，也可以通过在参数里进行指定：

# 输出kubeadm的默认配置，通过修改配置，如下
kubeadm config print init-defaults > kubeadm-config.yaml
vim kubeadm-config.yaml
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl create -f kube-flannel.yml
kubectl get pod  -n kube-system

上面使用的是flannel网络进行的CNI安装，也可以使用其他网络方式，比如weave，操作步骤如下：

kubeadm init --kubernetes-version=1.15.1 --apiserver-advertise-address=192.168.175.128 --image-repository registry.aliyuncs.com/google_containers --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
kubectl get pod  -n kube-system

后面node节点需要用的join token如果忘记了，可以使用 kubeadm token list 指令获取。

六、node节点配置

node节点除了安第四步及以前的步骤安装好必须环境后，直接可以通过如下命令加入node节点：

kubeadm join 192.168.175.128:6443 --token zgybfp.l2tymi4dnipc2bm7 \
    --discovery-token-ca-cert-hash sha256:1be98571382adf5cfe70f3a91242a7beacf5e183d0d698a587ae9b5cc7b65ff3

master节点的token默认的有效时间是24小时，后面有新的node节点需要增加时，可以新增一个永不过期的token或者一个临时token，如下：

kubeadm token create --print-join-command

使用kubeadm token create创建新的token,kubeadm token create –ttl 0生成一个永不过期的token 。

hash sha256 cert如果忘记了，可以通过如下命令反解析出来：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

七、验证

安装完成后，在master节点执行如下命令确认：

[root@kube-maste ~]# kubectl  get nodes
NAME         STATUS   ROLES                  AGE    VERSION
kube-maste   Ready    control-plane,master   7d8h   v1.20.4
kube-node1   Ready    <none>                 7d8h   v1.20.4
kube-node2   Ready    <none>                 7d8h   v1.20.4

可以使用kubectl get nodes -o wide查看更详细的信息。