rocky部署k8s

安装前配置

角色 IP地址 组件
master 192.168.192.164 docker，kubectl，kubeadm，kubelet
node1 192.168.192.165 docker，kubectl，kubeadm，kubelet
node2 192.168.192.166 docker，kubectl，kubeadm，kubelet

配置服务器/etc/hosts文件

1
2
3
192.168.192.164 master
192.168.192.165 node1
192.168.192.166 node2

配置时间同步

1
sudo systemctl enable --now chronyd

禁用iptable和firewalld服务

1
2
sudo systemctl disable --now firewalld
sudo systemctl disable --now iptables

关闭selinux

1
2
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

关闭swap空间

1
2
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab
sudo swapoff -a

转发 IPv4 并让 iptables 看到桥接流量

1
2
3
4
5
6
7
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

设置所需的 sysctl 参数，参数在重新启动后保持不变

1
2
3
4
5
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

应用 sysctl 参数而不重新启动

1
sudo sysctl --system

安装docker及containerd容器

移除docker

1
2
3
4
5
6
7
8
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装yum-utils包（提供了yum-config-manager)

1
sudo yum install -y yum-utils

添加docker源

1
2
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo

安装docker引擎、容器和docker组合

1
sudo yum install -y docker-ce docker-ce-cli containerd.io
  • docker-ce ： Docker Community Edition（Docker 社区版）
  • docker-ce-cli ： Docker 命令行工具
  • containerd.io ： 管理和运行容器的守护进程。它推送和拉动镜像，管理存储和网络，并监督容器的运行，io 是其开发者 Docker 公司的域名后缀

流程：docker运行命令 –> docker-ce-cli接受解析命令,发送 –> docker-ce后台检测是否拉取，转发 –> containerd.io与内核交互，创建隔离环境

启动docker

1
sudo systemctl enable --now docker

添加用户对docker的访问权限

1
sudo usermod -aG docker $USER

docker加速配置
1.docker配置镜像加速

1
2
3
4
5
6
7
8
9
10
11
12
sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": [ 
    "https://docker.1panel.live", 
    "https://hub.rat.dev", 
    "https://docker.actima.top"
  ] 
}
EOF

可用的镜像加速地址

重启服务

1
2
sudo systemctl daemon-reload
sudo systemctl restart docker

2.docker配置代理加速

1
2
3
4
5
cat /etc/systemd/system/docker.service.d/http-proxy.conf 
[Service] 
Environment="HTTP_PROXY=http://localhost:7897/" 
Environment="HTTPS_PROXY=http://localhost:7897/" 
Environment="NO_PROXY=localhost,127.0.0.1,192.168.*.*,10.*.*.*,*.local,hub.kubecc.com:5000"

重启服务

1
2
sudo systemctl daemon-reload
sudo systemctl restart docker

安装kubelet、kubeadm、kubectl

配置k8s的yum源
1.配置阿里源

1
2
3
4
5
6
7
8
9
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2.配置清华源

1
2
3
4
5
6
7
8
9
10
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.tuna.tsinghua.edu.cn/kubernetes/yum/repos/kubernetes-el7-$basearch
name=Kubernetes
baseurl=https://mirrors.tuna.tsinghua.edu.cn/kubernetes/core:/stable:/v1.28/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.28/rpm/repodata/repomd.xml.key
EOF

安装 kubelet，kubeadm，kubectl

1
sudo yum install kubeadm kubectl kubelet

配置kubelet的cgroup

1
2
3
4
vim /etc/sysconfig/kubelet

KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

设置kubelet开机自启

1
sudo systemctl enable kubelet

配置containerd默认容器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#1.使用如下命令重置config.toml文件
containerd config default > /etc/containerd/config.toml
#2.编辑配置文件
# vim /etc/containerd/config.toml
# SystemdCgroup = false 改为 SystemdCgroup = true
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml

# 3.修改 sandbox_image = "k8s.gcr.io/pause:3.8"
#sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9"

sed -i 's#sandbox_image = "registry.k8s.io/pause:3.8"#sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9"#g' /etc/containerd/config.toml

# 4.设置开机自启动
systemctl enable containerd

# 5.重新启动containerd
systemctl restart containerd
# 6. 列出containerd所有镜像命令
ctr images ls

使用kubeadm进行初始化

master节点运行
root
创建集群

1
2
3
4
5
6
7
kubeadm init \
--apiserver-advertise-address=192.168.192.164 \
--control-plane-endpoint=master \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.28.15 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=192.168.0.0/16
  • --apiserver-advertise-address ： 集群通告地址
  • --image-repository ： 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
  • --kubernetes-version ： K8s版本，与上面安装的一致
  • --service-cidr ： 集群内部虚拟网络，Pod统一访问入口
  • --pod-network-cidr ： Pod网络，与下面部署的CNI网络组件yaml中保持一致

创建必要文件
root

1
2
3
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

添加节点
node节点运行

1
2
kubeadm join master:6443 --token w3ftmy.wi8mndgd7t6d0ai2 \
	--discovery-token-ca-cert-hash sha256:7d8c86cd8476cc6ed98962ff34353919e1b1d772d8ba08683a319041b3470643

注：

1
2
# 如果忘记或者过期可以使用以下命令重新生成
kubeadm token create --print-join-command

查看节点信息
master节点运行

1
kubectl get nodes

集群部署Calico网络

安装网络插件
master节点运行

1
wget --no-check-certificate https://projectcalico.docs.tigera.io/archive/v3.25/manifests/calico.yaml

修改 calico.yaml 文件

1
2
3
4
5
6
7
8
vim calico.yaml

# 在 - name: CLUSTER_TYPE 下方添加如下内容
- name: CLUSTER_TYPE                 ##4567
  value: "k8s,bgp"
  # 下方为新增内容
- name: IP_AUTODETECTION_METHOD
  value: "interface=ens160"  ####master网卡名称

配置网络

1
kubectl apply -f calico.yaml