亚洲视频二区_亚洲欧洲日本天天堂在线观看_日韩一区二区在线观看_中文字幕不卡一区

一、前言

二、基礎(chǔ)環(huán)境部署

• 1）前期準(zhǔn)備（所有節(jié)點(diǎn)）

• 2）安裝容器 docker（所有節(jié)點(diǎn)）

• 3）配置 k8s yum 源（所有節(jié)點(diǎn)）

• 4）將 sandbox_image 鏡像源設(shè)置為阿里云 google_containers 鏡像源（所有節(jié)點(diǎn)）

• 5）配置 containerd cgroup 驅(qū)動(dòng)程序 systemd（所有節(jié)點(diǎn)）

• 6）開始安裝 kubeadm，kubelet 和 kubectl（master 節(jié)點(diǎn)）

• 7）使用 kubeadm 初始化集群（master 節(jié)點(diǎn)）

• 8）安裝 Pod 網(wǎng)絡(luò)插件（CNI：Container Network Interface）(master)

• 9）node 節(jié)點(diǎn)加入 k8s 集群

• 10）配置 IPVS

• 11）集群高可用配置

• 12）部署 Nginx+Keepalived 高可用負(fù)載均衡器

• 三、k8s 管理平臺 dashboard 環(huán)境部署

  • 1）dashboard 部署

  • 2）創(chuàng)建登錄用戶

  • 3）配置 hosts 登錄 dashboard web

  • 四、k8s 鏡像倉庫 harbor 環(huán)境部署

    • 1）安裝 helm

    • 2）配置 hosts

    • 3）創(chuàng)建 stl 證書

    • 4）安裝 ingress

    • 5）安裝 nfs

    • 6）創(chuàng)建 nfs provisioner 和持久化存儲(chǔ) SC

    • 7）部署 Harbor（Https 方式）

      
      

      一、前言

      官網(wǎng)：https://kubernetes.io/
      官方文檔：https://kubernetes.io/zh-cn/docs/home/

      二、基礎(chǔ)環(huán)境部署

      1）前期準(zhǔn)備（所有節(jié)點(diǎn)）

      1、修改主機(jī)名和配置 hosts

      先部署 1master 和 2node 節(jié)點(diǎn)，后面再加一個(gè) master 節(jié)點(diǎn)

      # 在192.168.0.113執(zhí)行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114執(zhí)行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115執(zhí)行hostnamectl set-hostname k8s-node2-168-0-115

      登錄后復(fù)制

      配置 hosts

      cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115EOF

      登錄后復(fù)制

      2、配置 ssh 互信

      # 直接一直回車就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115

      登錄后復(fù)制

      3、時(shí)間同步

      yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

      登錄后復(fù)制登錄后復(fù)制

      4、關(guān)閉防火墻

      systemctl stop firewalldsystemctl disable firewalld

      登錄后復(fù)制登錄后復(fù)制

      5、關(guān)閉 swap

      # 臨時(shí)關(guān)閉；關(guān)閉swap主要是為了性能考慮swapoff -a# 可以通過這個(gè)命令查看swap是否關(guān)閉了free# 永久關(guān)閉sed -ri 's/.*swap.*/#&/' /etc/fstab

      登錄后復(fù)制登錄后復(fù)制

      6、禁用 SELinux

      # 臨時(shí)關(guān)閉setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

      登錄后復(fù)制登錄后復(fù)制

      7、允許 iptables 檢查橋接流量（可選，所有節(jié)點(diǎn)）

      若要顯式加載此模塊，請運(yùn)行 sudo modprobe br_netfilter，通過運(yùn)行 lsmod | grep br_netfilter 來驗(yàn)證 br_netfilter 模塊是否已加載，

      sudo modprobe br_netfilterlsmod | grep br_netfilter

      登錄后復(fù)制登錄后復(fù)制

      為了讓 Linux 節(jié)點(diǎn)的 iptables 能夠正確查看橋接流量，請確認(rèn) sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設(shè)置為 1。例如：

      cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 設(shè)置所需的 sysctl 參數(shù)，參數(shù)在重新啟動(dòng)后保持不變cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 應(yīng)用 sysctl 參數(shù)而不重新啟動(dòng)sudo sysctl --system

      登錄后復(fù)制登錄后復(fù)制

      2）安裝容器 docker（所有節(jié)點(diǎn)）

      提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接集成，使用名為 dockershim 的組件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次刪除被作為 v1.20 發(fā)行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會(huì)影響你 以了解此刪除可能會(huì)如何影響你。要了解如何使用 dockershim 進(jìn)行遷移，請參閱從 dockershim 遷移。

      # 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 安裝yum-config-manager配置工具yum -y install yum-utils# 設(shè)置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安裝docker-ce版本yum install -y docker-ce# 啟動(dòng)systemctl start docker# 開機(jī)自啟systemctl enable docker# 查看版本號docker --version# 查看版本具體信息docker version# Docker鏡像源設(shè)置# 修改文件 /etc/docker/daemon.json，沒有這個(gè)文件就創(chuàng)建# 添加以下內(nèi)容后，重啟docker服務(wù)：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加載systemctl reload docker# 查看systemctl status docker containerd

      登錄后復(fù)制登錄后復(fù)制

      【溫馨提示】dockerd 實(shí)際真實(shí)調(diào)用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個(gè)中間交流組件。所以啟動(dòng) docker 服務(wù)的時(shí)候，也會(huì)啟動(dòng) containerd 服務(wù)的。

      3）配置 k8s yum 源（所有節(jié)點(diǎn)）

      cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

      登錄后復(fù)制登錄后復(fù)制

      4）將 sandbox_image 鏡像源設(shè)置為阿里云 google_containers 鏡像源（所有節(jié)點(diǎn)）

      # 導(dǎo)出默認(rèn)配置，config.toml這個(gè)文件默認(rèn)是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

      登錄后復(fù)制登錄后復(fù)制

      5）配置 containerd cgroup 驅(qū)動(dòng)程序 systemd（所有節(jié)點(diǎn)）

      kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替換采用 containerd 作為容器運(yùn)行時(shí)端點(diǎn)。因此需要安裝 containerd（在 docker 的基礎(chǔ)下安裝），上面安裝 docker 的時(shí)候就自動(dòng)安裝了 containerd 了。這里的 docker 只是作為客戶端而已。容器引擎還是 containerd。

      sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 應(yīng)用所有更改后,重新啟動(dòng)containerdsystemctl restart containerd

      登錄后復(fù)制登錄后復(fù)制

      6）開始安裝 kubeadm，kubelet 和 kubectl（master 節(jié)點(diǎn)）

      # 不指定版本就是最新版本，當(dāng)前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了這個(gè)kubernetes之外的別的倉庫# 設(shè)置為開機(jī)自啟并現(xiàn)在立刻啟動(dòng)服務(wù) --now：立刻啟動(dòng)服務(wù)systemctl enable --now kubelet# 查看狀態(tài)，這里需要等待一段時(shí)間再查看服務(wù)狀態(tài)，啟動(dòng)會(huì)有點(diǎn)慢systemctl status kubelet

      登錄后復(fù)制

      查看日志，發(fā)現(xiàn)有報(bào)錯(cuò)，報(bào)錯(cuò)如下：

      kubelet.service: Main process exited, code=exited, status=1/FAILURE kubelet.service: Failed with result 'exit-code'.

      【解釋】重新安裝（或第一次安裝）k8s，未經(jīng)過 kubeadm init 或者 kubeadm join 后，kubelet 會(huì)不斷重啟，這個(gè)是正常現(xiàn)象……，執(zhí)行 init 或 join 后問題會(huì)自動(dòng)解決，對此官網(wǎng)有如下描述，也就是此時(shí)不用理會(huì) kubelet.service。

      查看版本

      kubectl versionyum info kubeadm

      登錄后復(fù)制

      7）使用 kubeadm 初始化集群（master 節(jié)點(diǎn)）

      最好提前把鏡像下載好，這樣安裝快

      docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.24.1docker pull registry.aliyuncs.com/google_containers/pause:3.7docker pull registry.aliyuncs.com/google_containers/etcd:3.5.3-0docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6

      登錄后復(fù)制

      集群初始化

      kubeadm init \  --apiserver-advertise-address=192.168.0.113 \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    這個(gè)用于指定從什么位置來拉取鏡像（1.13版本才有的），默認(rèn)值是k8s.gcr.io，我們將其指定為國內(nèi)鏡像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本號，默認(rèn)值是stable-1，會(huì)導(dǎo)致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.22.1）來跳過網(wǎng)絡(luò)請求。# –apiserver-advertise-address  指明用 Master 的哪個(gè) interface 與 Cluster 的其他節(jié)點(diǎn)通信。如果 Master 有多個(gè) interface，建議明確指定，如果不指定，kubeadm 會(huì)自動(dòng)選擇有默認(rèn)網(wǎng)關(guān)的 interface。這里的ip為master節(jié)點(diǎn)ip，記得更換。# –pod-network-cidr             指定 Pod 網(wǎng)絡(luò)的范圍。Kubernetes 支持多種網(wǎng)絡(luò)方案，而且不同網(wǎng)絡(luò)方案對  –pod-network-cidr有自己的要求，這里設(shè)置為10.244.0.0/16 是因?yàn)槲覀儗⑹褂?flannel 網(wǎng)絡(luò)方案，必須設(shè)置成這個(gè) CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這里配置hosts映射：192.168.0.113   cluster-endpoint。 這將允許你將 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并將相同的 DNS 名稱傳遞給 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的負(fù)載均衡器的地址。

      登錄后復(fù)制

      【溫馨提示】kubeadm 不支持將沒有 --control-plane-endpoint 參數(shù)的單個(gè)控制平面集群轉(zhuǎn)換為高可用性集群。

      重置再初始化

      kubeadm resetrm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*kubeadm init \  --apiserver-advertise-address=192.168.0.113  \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    這個(gè)用于指定從什么位置來拉取鏡像（1.13版本才有的），默認(rèn)值是k8s.gcr.io，我們將其指定為國內(nèi)鏡像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本號，默認(rèn)值是stable-1，會(huì)導(dǎo)致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.22.1）來跳過網(wǎng)絡(luò)請求。# –apiserver-advertise-address  指明用 Master 的哪個(gè) interface 與 Cluster 的其他節(jié)點(diǎn)通信。如果 Master 有多個(gè) interface，建議明確指定，如果不指定，kubeadm 會(huì)自動(dòng)選擇有默認(rèn)網(wǎng)關(guān)的 interface。這里的ip為master節(jié)點(diǎn)ip，記得更換。# –pod-network-cidr             指定 Pod 網(wǎng)絡(luò)的范圍。Kubernetes 支持多種網(wǎng)絡(luò)方案，而且不同網(wǎng)絡(luò)方案對  –pod-network-cidr有自己的要求，這里設(shè)置為10.244.0.0/16 是因?yàn)槲覀儗⑹褂?flannel 網(wǎng)絡(luò)方案，必須設(shè)置成這個(gè) CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到該 IP 的自定義 DNS 名稱，這里配置hosts映射：192.168.0.113   cluster-endpoint。 這將允許你將 --control-plane-endpoint=cluster-endpoint 傳遞給 kubeadm init，并將相同的 DNS 名稱傳遞給 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的負(fù)載均衡器的地址。

      登錄后復(fù)制

      配置環(huán)境變量

      mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config# 臨時(shí)生效（退出當(dāng)前窗口重連環(huán)境變量失效）export KUBECONFIG=/etc/kubernetes/admin.conf# 永久生效（推薦）echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profilesource  ~/.bash_profile

      登錄后復(fù)制

      發(fā)現(xiàn)節(jié)點(diǎn)還是有問題，查看日志 /var/log/messages

      "Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: cni plugin not initialized"

      
      接下來就是安裝 Pod 網(wǎng)絡(luò)插件

      8）安裝 Pod 網(wǎng)絡(luò)插件（CNI：Container Network Interface）(master)

      你必須部署一個(gè)基于 Pod 網(wǎng)絡(luò)插件的 容器網(wǎng)絡(luò)接口 (CNI)，以便你的 Pod 可以相互通信。

      # 最好提前下載鏡像（所有節(jié)點(diǎn)）docker pull quay.io/coreos/flannel:v0.14.0kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

      登錄后復(fù)制

      如果上面安裝失敗，則下載我百度里的，離線安裝

      鏈接：https://pan.baidu.com/s/1HB9xuO3bssAW7v5HzpXkeQ
      提取碼：8888

      再查看 node 節(jié)點(diǎn)，就已經(jīng)正常了
      

      9）node 節(jié)點(diǎn)加入 k8s 集群

      先安裝 kubelet

      yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes# 設(shè)置為開機(jī)自啟并現(xiàn)在立刻啟動(dòng)服務(wù) --now：立刻啟動(dòng)服務(wù)systemctl enable --now kubeletsystemctl status kubelet

      登錄后復(fù)制

      如果沒有令牌，可以通過在控制平面節(jié)點(diǎn)上運(yùn)行以下命令來獲取令牌：

      kubeadm token list

      登錄后復(fù)制

      默認(rèn)情況下，令牌會(huì)在24小時(shí)后過期。如果要在當(dāng)前令牌過期后將節(jié)點(diǎn)加入集群， 則可以通過在控制平面節(jié)點(diǎn)上運(yùn)行以下命令來創(chuàng)建新令牌：

      kubeadm token create# 再查看kubeadm token list

      登錄后復(fù)制

      如果你沒有 –discovery-token-ca-cert-hash 的值，則可以通過在控制平面節(jié)點(diǎn)上執(zhí)行以下命令鏈來獲取它：

      openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

      登錄后復(fù)制

      如果執(zhí)行 kubeadm init 時(shí)沒有記錄下加入集群的命令，可以通過以下命令重新創(chuàng)建（推薦）一般不用上面的分別獲取 token 和 ca-cert-hash 方式，執(zhí)行以下命令一氣呵成：

      kubeadm token create --print-join-command

      登錄后復(fù)制

      這里需要等待一段時(shí)間，再查看節(jié)點(diǎn)節(jié)點(diǎn)狀態(tài)，因?yàn)樾枰惭b kube-proxy 和 flannel。另外，搜索公眾號技術(shù)社區(qū)后臺回復(fù)“Linux”，獲取一份驚喜禮包。

      kubectl get pods -Akubectl get nodes

      登錄后復(fù)制

      10）配置 IPVS

      【問題】集群內(nèi)無法 ping 通 ClusterIP（或 ServiceName）

      1、加載 ip_vs 相關(guān)內(nèi)核模塊

      modprobe -- ip_vsmodprobe -- ip_vs_shmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrr

      登錄后復(fù)制

      所有節(jié)點(diǎn)驗(yàn)證開啟了 ipvs：

      lsmod |grep ip_vs

      登錄后復(fù)制

      2、安裝 ipvsadm 工具

      yum install ipset ipvsadm -y

      登錄后復(fù)制

      3、編輯 kube-proxy 配置文件，mode 修改成 ipvs

      kubectl edit  configmap -n kube-system  kube-proxy

      登錄后復(fù)制

      4、重啟 kube-proxy

      # 先查看kubectl get pod -n kube-system | grep kube-proxy# 再delete讓它自拉起kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'# 再查看kubectl get pod -n kube-system | grep kube-proxy

      登錄后復(fù)制

      5、查看 ipvs 轉(zhuǎn)發(fā)規(guī)則

      ipvsadm -Ln

      登錄后復(fù)制

      11）集群高可用配置

      配置高可用（HA）Kubernetes 集群實(shí)現(xiàn)的兩種方案：

      • 使用堆疊（stacked）控制平面節(jié)點(diǎn)，其中 etcd 節(jié)點(diǎn)與控制平面節(jié)點(diǎn)共存（本章使用），架構(gòu)圖如下：
        • 使用外部 etcd 節(jié)點(diǎn)，其中 etcd 在與控制平面不同的節(jié)點(diǎn)上運(yùn)行，架構(gòu)圖如下：

          這里新增一臺機(jī)器作為另外一個(gè) master 節(jié)點(diǎn)：192.168.0.116 配置跟上面 master 節(jié)點(diǎn)一樣。只是不需要最后一步初始化了。

          1、修改主機(jī)名和配置 hosts

          所有節(jié)點(diǎn)都統(tǒng)一如下配置：

          # 在192.168.0.113執(zhí)行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114執(zhí)行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115執(zhí)行hostnamectl set-hostname k8s-node2-168-0-115# 在192.168.0.116執(zhí)行hostnamectl set-hostname k8s-master2-168-0-116

          登錄后復(fù)制

          配置 hosts

          cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113 cluster-endpoint192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116EOF

          登錄后復(fù)制

          2、配置 ssh 互信

          # 直接一直回車就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master2-168-0-116

          登錄后復(fù)制

          3、時(shí)間同步

          yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

          登錄后復(fù)制登錄后復(fù)制

          7、關(guān)閉防火墻

          systemctl stop firewalldsystemctl disable firewalld

          登錄后復(fù)制登錄后復(fù)制

          4、關(guān)閉 swap

          # 臨時(shí)關(guān)閉；關(guān)閉swap主要是為了性能考慮swapoff -a# 可以通過這個(gè)命令查看swap是否關(guān)閉了free# 永久關(guān)閉sed -ri 's/.*swap.*/#&/' /etc/fstab

          登錄后復(fù)制登錄后復(fù)制

          5、禁用 SELinux

          # 臨時(shí)關(guān)閉setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

          登錄后復(fù)制登錄后復(fù)制

          6、允許 iptables 檢查橋接流量（可選，所有節(jié)點(diǎn)）

          若要顯式加載此模塊，請運(yùn)行 sudo modprobe br_netfilter，通過運(yùn)行 lsmod | grep br_netfilter 來驗(yàn)證 br_netfilter 模塊是否已加載，

          sudo modprobe br_netfilterlsmod | grep br_netfilter

          登錄后復(fù)制登錄后復(fù)制

          為了讓 Linux 節(jié)點(diǎn)的 iptables 能夠正確查看橋接流量，請確認(rèn) sysctl 配置中的 net.bridge.bridge-nf-call-iptables 設(shè)置為 1。例如：

          cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 設(shè)置所需的 sysctl 參數(shù)，參數(shù)在重新啟動(dòng)后保持不變cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 應(yīng)用 sysctl 參數(shù)而不重新啟動(dòng)sudo sysctl --system

          登錄后復(fù)制登錄后復(fù)制

          7、安裝容器 docker（所有節(jié)點(diǎn)）

          提示：v1.24 之前的 Kubernetes 版本包括與 Docker Engine 的直接集成，使用名為 dockershim 的組件。這種特殊的直接整合不再是 Kubernetes 的一部分 （這次刪除被作為 v1.20 發(fā)行版本的一部分宣布）。你可以閱讀檢查 Dockershim 棄用是否會(huì)影響你 以了解此刪除可能會(huì)如何影響你。要了解如何使用 dockershim 進(jìn)行遷移，請參閱從 dockershim 遷移。

          # 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 安裝yum-config-manager配置工具yum -y install yum-utils# 設(shè)置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安裝docker-ce版本yum install -y docker-ce# 啟動(dòng)systemctl start docker# 開機(jī)自啟systemctl enable docker# 查看版本號docker --version# 查看版本具體信息docker version# Docker鏡像源設(shè)置# 修改文件 /etc/docker/daemon.json，沒有這個(gè)文件就創(chuàng)建# 添加以下內(nèi)容后，重啟docker服務(wù)：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加載systemctl reload docker# 查看systemctl status docker containerd

          登錄后復(fù)制登錄后復(fù)制

          【溫馨提示】dockerd 實(shí)際真實(shí)調(diào)用的還是 containerd 的 api 接口，containerd 是 dockerd 和 runC 之間的一個(gè)中間交流組件。所以啟動(dòng) docker 服務(wù)的時(shí)候，也會(huì)啟動(dòng) containerd 服務(wù)的。

          8、配置 k8s yum 源（所有節(jié)點(diǎn)）

          cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

          登錄后復(fù)制登錄后復(fù)制

          9、將 sandbox_image 鏡像源設(shè)置為阿里云 google_containers 鏡像源（所有節(jié)點(diǎn)）

          # 導(dǎo)出默認(rèn)配置，config.toml這個(gè)文件默認(rèn)是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

          登錄后復(fù)制登錄后復(fù)制

          10、配置 containerd cgroup 驅(qū)動(dòng)程序 systemd

          kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替換采用 containerd 作為容器運(yùn)行時(shí)端點(diǎn)。因此需要安裝 containerd（在 docker 的基礎(chǔ)下安裝），上面安裝 docker 的時(shí)候就自動(dòng)安裝了 containerd 了。這里的 docker 只是作為客戶端而已。容器引擎還是 containerd。

          sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 應(yīng)用所有更改后,重新啟動(dòng)containerdsystemctl restart containerd

          登錄后復(fù)制登錄后復(fù)制

          11、開始安裝 kubeadm，kubelet 和 kubectl（master 節(jié)點(diǎn)）

          # 不指定版本就是最新版本，當(dāng)前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了這個(gè)kubernetes之外的別的倉庫# 設(shè)置為開機(jī)自啟并現(xiàn)在立刻啟動(dòng)服務(wù) --now：立刻啟動(dòng)服務(wù)systemctl enable --now kubelet# 查看狀態(tài)，這里需要等待一段時(shí)間再查看服務(wù)狀態(tài)，啟動(dòng)會(huì)有點(diǎn)慢systemctl status kubelet# 查看版本kubectl versionyum info kubeadm

          登錄后復(fù)制

          12、加入 k8s 集群

          # 證如果過期了，可以使用下面命令生成新證書上傳，這里會(huì)打印出certificate key，后面會(huì)用到kubeadm init phase upload-certs --upload-certs# 你還可以在 【init】期間指定自定義的 --certificate-key，以后可以由 join 使用。 要生成這樣的密鑰，可以使用以下命令（這里不執(zhí)行，就用上面那個(gè)自命令就可以了）：kubeadm certs certificate-keykubeadm token create --print-join-commandkubeadm join cluster-endpoint:6443 --token wswrfw.fc81au4yvy6ovmhh --discovery-token-ca-cert-hash sha256:43a3924c25104d4393462105639f6a02b8ce284728775ef9f9c30eed8e0abc0f --control-plane --certificate-key 8d2709697403b74e35d05a420bd2c19fd8c11914eb45f2ff22937b245bed5b68# --control-plane 標(biāo)志通知 kubeadm join 創(chuàng)建一個(gè)新的控制平面。加入master必須加這個(gè)標(biāo)記# --certificate-key ... 將導(dǎo)致從集群中的 kubeadm-certs Secret 下載控制平面證書并使用給定的密鑰進(jìn)行解密。這里的值就是上面這個(gè)命令（kubeadm init phase upload-certs --upload-certs）打印出的key。

          登錄后復(fù)制

          
          根據(jù)提示執(zhí)行如下命令：

          mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

          登錄后復(fù)制

          查看

          kubectl get nodeskubectl get pods -A -owide

          登錄后復(fù)制

          
          雖然現(xiàn)在已經(jīng)有兩個(gè) master 了，但是對外還是只能有一個(gè)入口的，所以還得要一個(gè)負(fù)載均衡器，如果一個(gè) master 掛了，會(huì)自動(dòng)切到另外一個(gè) master 節(jié)點(diǎn)。

          12）部署 Nginx+Keepalived 高可用負(fù)載均衡器

          1、安裝 Nginx 和 Keepalived

          # 在兩個(gè)master節(jié)點(diǎn)上執(zhí)行yum install nginx keepalived -y

          登錄后復(fù)制

          2、Nginx 配置

          在兩個(gè) master 節(jié)點(diǎn)配置

          cat > /etc/nginx/nginx.conf << "EOF"user nginx;worker_processes auto;error_log /var/log/nginx/error.log;pid /run/nginx.pid;include /usr/share/nginx/modules/*.conf;events {    worker_connections 1024;}# 四層負(fù)載均衡，為兩臺Master apiserver組件提供負(fù)載均衡stream {    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';    access_log  /var/log/nginx/k8s-access.log  main;    upstream k8s-apiserver {    # Master APISERVER IP:PORT       server 192.168.0.113:6443;    # Master2 APISERVER IP:PORT       server 192.168.0.116:6443;    }    server {       listen 16443;       proxy_pass k8s-apiserver;    }}http {    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';    access_log  /var/log/nginx/access.log  main;    sendfile            on;    tcp_nopush          on;    tcp_nodelay         on;    keepalive_timeout   65;    types_hash_max_size 2048;    include             /etc/nginx/mime.types;    default_type        application/octet-stream;    server {        listen       80 default_server;        server_name  _;        location / {        }    }}EOF

          登錄后復(fù)制

          【溫馨提示】如果只保證高可用，不配置 k8s-apiserver 負(fù)載均衡的話，可以不裝 nginx，但是最好還是配置一下 k8s-apiserver 負(fù)載均衡。

          3、Keepalived 配置（master）

          cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     [email protected]     [email protected]     [email protected]   }   notification_email_from [email protected]   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_MASTER}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state MASTER    interface ens33    virtual_router_id 51 # VRRP 路由 ID實(shí)例，每個(gè)實(shí)例是唯一的    priority 100    # 優(yōu)先級，備服務(wù)器設(shè)置 90    advert_int 1    # 指定VRRP 心跳包通告間隔時(shí)間，默認(rèn)1秒    authentication {        auth_type PASS        auth_pass 1111    }    # 虛擬IP    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

          登錄后復(fù)制

          • vrrp_script：指定檢查 nginx 工作狀態(tài)腳本（根據(jù) nginx 狀態(tài)判斷是否故障轉(zhuǎn)移）
          • virtual_ipaddress：虛擬 IP（VIP）

            檢查 nginx 狀態(tài)腳本：

            cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

            登錄后復(fù)制登錄后復(fù)制

            4、Keepalived 配置（backup）

            cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     [email protected]     [email protected]     [email protected]   }   notification_email_from [email protected]   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_BACKUP}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state BACKUP    interface ens33    virtual_router_id 51 # VRRP 路由 ID實(shí)例，每個(gè)實(shí)例是唯一的    priority 90    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

            登錄后復(fù)制

            檢查 nginx 狀態(tài)腳本：

            cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

            登錄后復(fù)制登錄后復(fù)制

            5、啟動(dòng)并設(shè)置開機(jī)啟動(dòng)

            systemctl daemon-reloadsystemctl restart nginx && systemctl enable nginx && systemctl status nginxsystemctl restart keepalived && systemctl enable keepalived && systemctl status keepalived

            登錄后復(fù)制

            查看 VIP

            ip a

            登錄后復(fù)制

            6、修改 hosts（所有節(jié)點(diǎn)）

            將 cluster-endpoint 之前執(zhí)行的 ip 修改執(zhí)行現(xiàn)在的 VIP

            192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116192.168.0.120 cluster-endpoint

            登錄后復(fù)制

            7、測試驗(yàn)證

            查看版本（負(fù)載均衡測試驗(yàn)證）

            curl -k https://cluster-endpoint:16443/version

            登錄后復(fù)制

            
            高可用測試驗(yàn)證，將 k8s-master-168-0-113 節(jié)點(diǎn)關(guān)機(jī)

            shutdown -h nowcurl -k https://cluster-endpoint:16443/versionkubectl get nodes -Akubectl get pods -A

            登錄后復(fù)制

            【溫馨提示】堆疊集群存在耦合失敗的風(fēng)險(xiǎn)。如果一個(gè)節(jié)點(diǎn)發(fā)生故障，則 etcd 成員和控制平面實(shí)例都將丟失， 并且冗余會(huì)受到影響。你可以通過添加更多控制平面節(jié)點(diǎn)來降低此風(fēng)險(xiǎn)。

            三、k8s 管理平臺 dashboard 環(huán)境部署

            1）dashboard 部署

            GitHub 地址：https://github.com/kubernetes/dashboard

            kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yamlkubectl get pods -n kubernetes-dashboard

            登錄后復(fù)制

            但是這個(gè)只能內(nèi)部訪問，所以要外部訪問，要么部署 ingress，要么就是設(shè)置 service NodePort 類型。這里選擇 service 暴露端口。另外，搜索公眾號編程技術(shù)圈后臺回復(fù)“1024”，獲取一份驚喜禮包。

            wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml

            登錄后復(fù)制

            修改后的內(nèi)容如下：

            # Copyright 2017 The Kubernetes Authors.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License at##     http://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.apiVersion: v1kind: Namespacemetadata:  name: kubernetes-dashboard---apiVersion: v1kind: ServiceAccountmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboard---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  type: NodePort  ports:    - port: 443      targetPort: 8443      nodePort: 31443  selector:    k8s-app: kubernetes-dashboard---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-certs  namespace: kubernetes-dashboardtype: Opaque---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-csrf  namespace: kubernetes-dashboardtype: Opaquedata:  csrf: ""---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-key-holder  namespace: kubernetes-dashboardtype: Opaque---kind: ConfigMapapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-settings  namespace: kubernetes-dashboard---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardrules:  # Allow Dashboard to get, update and delete Dashboard exclusive secrets.  - apiGroups: [""]    resources: ["secrets"]    resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]    verbs: ["get", "update", "delete"]    # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.  - apiGroups: [""]    resources: ["configmaps"]    resourceNames: ["kubernetes-dashboard-settings"]    verbs: ["get", "update"]    # Allow Dashboard to get metrics.  - apiGroups: [""]    resources: ["services"]    resourceNames: ["heapster", "dashboard-metrics-scraper"]    verbs: ["proxy"]  - apiGroups: [""]    resources: ["services/proxy"]    resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]    verbs: ["get"]---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboardrules:  # Allow Metrics Scraper to get metrics from the Metrics server  - apiGroups: ["metrics.k8s.io"]    resources: ["pods", "nodes"]    verbs: ["get", "list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: Role  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: kubernetes-dashboard  template:    metadata:      labels:        k8s-app: kubernetes-dashboard    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: kubernetes-dashboard          image: kubernetesui/dashboard:v2.6.0          imagePullPolicy: Always          ports:            - containerPort: 8443              protocol: TCP          args:            - --auto-generate-certificates            - --namespace=kubernetes-dashboard            # Uncomment the following line to manually specify Kubernetes API server Host            # If not specified, Dashboard will attempt to auto discover the API server and connect            # to it. Uncomment only if the default does not work.            # - --apiserver-host=http://my-address:port          volumeMounts:            - name: kubernetes-dashboard-certs              mountPath: /certs              # Create on-disk volume to store exec logs            - mountPath: /tmp              name: tmp-volume          livenessProbe:            httpGet:              scheme: HTTPS              path: /              port: 8443            initialDelaySeconds: 30            timeoutSeconds: 30          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      volumes:        - name: kubernetes-dashboard-certs          secret:            secretName: kubernetes-dashboard-certs        - name: tmp-volume          emptyDir: {}      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  ports:    - port: 8000      targetPort: 8000  selector:    k8s-app: dashboard-metrics-scraper---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: dashboard-metrics-scraper  template:    metadata:      labels:        k8s-app: dashboard-metrics-scraper    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: dashboard-metrics-scraper          image: kubernetesui/metrics-scraper:v1.0.8          ports:            - containerPort: 8000              protocol: TCP          livenessProbe:            httpGet:              scheme: HTTP              path: /              port: 8000            initialDelaySeconds: 30            timeoutSeconds: 30          volumeMounts:          - mountPath: /tmp            name: tmp-volume          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule      volumes:        - name: tmp-volume          emptyDir: {}

            登錄后復(fù)制

            
            重新部署

            kubectl delete -f recommended.yamlkubectl apply -f recommended.yamlkubectl get svc,pods -n kubernetes-dashboard

            登錄后復(fù)制

            2）創(chuàng)建登錄用戶

            cat >ServiceAccount.yaml<<EOFapiVersion: v1kind: ServiceAccountmetadata:  name: admin-user  namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: admin-userroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: cluster-adminsubjects:- kind: ServiceAccount  name: admin-user  namespace: kubernetes-dashboardEOFkubectl apply -f ServiceAccount.yaml

            登錄后復(fù)制

            創(chuàng)建并獲取登錄 token

            kubectl -n kubernetes-dashboard create token admin-user

            登錄后復(fù)制

            3）配置 hosts 登錄 dashboard web

            192.168.0.120 cluster-endpoint

            登錄后復(fù)制

            登錄：https://cluster-endpoint:31443
            

            輸入上面創(chuàng)建的 token 登錄
            

            四、k8s 鏡像倉庫 harbor 環(huán)境部署

            GitHub 地址：https://github.com/helm/helm/releases
            這使用 helm 安裝，所以得先安裝 helm

            1）安裝 helm

            mkdir -p /opt/k8s/helm && cd /opt/k8s/helmwget https://get.helm.sh/helm-v3.9.0-rc.1-linux-amd64.tar.gztar -xf helm-v3.9.0-rc.1-linux-amd64.tar.gzln -s /opt/k8s/helm/linux-amd64/helm /usr/bin/helmhelm versionhelm help

            登錄后復(fù)制

            2）配置 hosts

            192.168.0.120 myharbor.com

            登錄后復(fù)制

            3）創(chuàng)建 stl 證書

            mkdir /opt/k8s/helm/stl && cd /opt/k8s/helm/stl# 生成 CA 證書私鑰openssl genrsa -out ca.key 4096# 生成 CA 證書openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \ -key ca.key \ -out ca.crt# 創(chuàng)建域名證書，生成私鑰openssl genrsa -out myharbor.com.key 4096# 生成證書簽名請求 CSRopenssl req -sha512 -new \    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \    -key myharbor.com.key \    -out myharbor.com.csr# 生成 x509 v3 擴(kuò)展cat > v3.ext <<-EOFauthorityKeyIdentifier=keyid,issuerbasicConstraints=CA:FALSEkeyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEnciphermentextendedKeyUsage = serverAuthsubjectAltName = @alt_names[alt_names]DNS.1=myharbor.comDNS.2=*.myharbor.comDNS.3=hostnameEOF#創(chuàng)建 Harbor 訪問證書openssl x509 -req -sha512 -days 3650 \    -extfile v3.ext \    -CA ca.crt -CAkey ca.key -CAcreateserial \    -in myharbor.com.csr \    -out myharbor.com.crt

            登錄后復(fù)制

            4）安裝 ingress

            ingress 官方網(wǎng)站：https://kubernetes.github.io/ingress-nginx/
            ingress 倉庫地址：https://github.com/kubernetes/ingress-nginx
            部署文檔：https://kubernetes.github.io/ingress-nginx/deploy/

            1、通過 helm 部署

            helm upgrade --install ingress-nginx ingress-nginx \  --repo https://kubernetes.github.io/ingress-nginx \  --namespace ingress-nginx --create-namespace

            登錄后復(fù)制

            2、通過 YAML 文件安裝（本章使用這個(gè)方式安裝 ingress）

            kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml

            登錄后復(fù)制

            如果下載鏡像失敗，可以用以下方式修改鏡像地址再安裝

            牛逼啊！接私活必備的 N 個(gè)開源項(xiàng)目！趕快收藏

            登錄后復(fù)制

            # 可以先把鏡像下載，再安裝
            docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0
            docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1
            
            wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
            # 修改鏡像地址
            sed -i '[email protected]/ingress-nginx/controller:v1.2.0\(.*\)@registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@' deploy.yaml
            sed -i '[email protected]/ingress-nginx/kube-webhook-certgen:v1.1.1\(.*\)[email protected]/google_containers/kube-webhook-certgen:v1.1.1@' deploy.yaml
            
            ###還需要修改兩地方
            #1、kind: 類型修改成DaemonSet，replicas: 注銷掉，因?yàn)镈aemonSet模式會(huì)每個(gè)節(jié)點(diǎn)運(yùn)行一個(gè)pod
            #2、在添加一條：hostnetwork：true
            #3、把LoadBalancer修改成NodePort
            #4、在--validating-webhook-key下面添加- --watch-ingress-without-class=true
            #5、設(shè)置master節(jié)點(diǎn)可調(diào)度
            kubectl taint nodes k8s-master-168-0-113 node-role.kubernetes.io/control-plane:NoSchedule-
            kubectl taint nodes k8s-master2-168-0-116 node-role.kubernetes.io/control-plane:NoSchedule-
            
            kubectl apply -f deploy.yaml

            登錄后復(fù)制

            5）安裝 nfs

            1、所有節(jié)點(diǎn)安裝 nfs

            yum -y install  nfs-utils rpcbind

            登錄后復(fù)制

            2、在 master 節(jié)點(diǎn)創(chuàng)建共享目錄并授權(quán)

            mkdir /opt/nfsdata
            # 授權(quán)共享目錄
            chmod 666 /opt/nfsdata

            登錄后復(fù)制

            3、配置 exports 文件

            cat > /etc/exports<<EOF
            /opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
            EOF
            # 配置生效
            exportfs -r

            登錄后復(fù)制

            exportfs 命令

            常用選項(xiàng)
            -a 全部掛載或者全部卸載
            -r 重新掛載
            -u 卸載某一個(gè)目錄
            -v 顯示共享目錄 以下操作在服務(wù)端上

            4、啟動(dòng) rpc 和 nfs（客戶端只需要啟動(dòng) rpc 服務(wù)）（注意順序）

            systemctl start rpcbind
            systemctl start nfs-server
            systemctl enable rpcbind
            systemctl enable nfs-server

            登錄后復(fù)制

            查看

            showmount -e
            # VIP
            showmount -e 192.168.0.120

            登錄后復(fù)制

            -e 顯示 NFS 服務(wù)器的共享列表
            -a 顯示本機(jī)掛載的文件資源的情況 NFS 資源的情況
            -v 顯示版本號

            5、客戶端

            # 安裝
            yum -y install  nfs-utils rpcbind
            # 啟動(dòng)rpc服務(wù)
            systemctl start rpcbind
            systemctl enable rpcbind
            # 創(chuàng)建掛載目錄
            mkdir /mnt/nfsdata
            # 掛載
            echo "192.168.0.120:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
            mount -a

            登錄后復(fù)制

            6、rsync 數(shù)據(jù)同步

            【1】rsync 安裝

            # 兩端都得安裝
            yum -y install rsync

            登錄后復(fù)制

            【2】配置

            在/etc/rsyncd.conf 中添加

            cat >/etc/rsyncd.conf<<EOF
            uid = root
            gid = root
            #禁錮在源目錄
            use chroot = yes
            #監(jiān)聽地址
            address = 192.168.0.113
            #監(jiān)聽地址tcp/udp 873，可通過cat /etc/services | grep rsync查看
            port 873
            #日志文件位置
            log file = /var/log/rsyncd.log
            #存放進(jìn)程 ID 的文件位置
            pid file = /var/run/rsyncd.pid
            #允許訪問的客戶機(jī)地址
            hosts allow = 192.168.0.0/16
            #共享模塊名稱
            [nfsdata]
            #源目錄的實(shí)際路徑
            path = /opt/nfsdata
            comment = Document Root of www.kgc.com
            #指定客戶端是否可以上傳文件，默認(rèn)對所有模塊為 true
            read only = yes
            #同步時(shí)不再壓縮的文件類型
            dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
            #授權(quán)賬戶，多個(gè)賬號以空格分隔，不加則為匿名，不依賴系統(tǒng)賬號
            auth users = backuper
            #存放賬戶信息的數(shù)據(jù)文件
            secrets file = /etc/rsyncd_users.db
            EOF

            登錄后復(fù)制

            配置 rsyncd_users.db

            cat >/etc/rsyncd_users.db<<EOF
            backuper:123456
            EOF
            #官方要求，最好只是賦權(quán)600！
            chmod 600 /etc/rsyncd_users.db

            登錄后復(fù)制

            【3】rsyncd.conf 常用參數(shù)詳解

            rsyncd.conf 參數(shù)

            rsyncd.conf 參數(shù)	參數(shù)說明
            uid=root	rsync 使用的用戶。
            gid=root	rsync 使用的用戶組（用戶所在的組）
            use chroot=no	如果為 true，daemon 會(huì)在客戶端傳輸文件前“chroot to the path”。這是一種安全配置，因?yàn)槲覀兇蠖鄶?shù)都在內(nèi)網(wǎng)，所以不配也沒關(guān)系
            max connections=200	設(shè)置最大連接數(shù)，默認(rèn) 0，意思無限制，負(fù)值為關(guān)閉這個(gè)模塊
            timeout=400	默認(rèn)為 0，表示 no timeout，建議 300-600（5-10 分鐘）
            pid file	rsync daemon 啟動(dòng)后將其進(jìn)程 pid 寫入此文件。如果這個(gè)文件存在，rsync 不會(huì)覆蓋該文件，而是會(huì)終止
            lock file	指定 lock 文件用來支持“max connections”參數(shù)，使得總連接數(shù)不會(huì)超過限制
            log file	不設(shè)或者設(shè)置錯(cuò)誤，rsync 會(huì)使用 rsyslog 輸出相關(guān)日志信息
            ignore errors	忽略 I/O 錯(cuò)誤
            read only=false	指定客戶端是否可以上傳文件，默認(rèn)對所有模塊為 true
            list=false	是否允許客戶端可以查看可用模塊列表，默認(rèn)為可以
            hosts allow	指定可以聯(lián)系的客戶端主機(jī)名或和 ip 地址或地址段，默認(rèn)情況沒有此參數(shù)，即都可以連接
            hosts deny	指定不可以聯(lián)系的客戶端主機(jī)名或 ip 地址或地址段，默認(rèn)情況沒有此參數(shù)，即都可以連接
            auth users	指定以空格或逗號分隔的用戶可以使用哪些模塊，用戶不需要在本地系統(tǒng)中存在。默認(rèn)為所有用戶無密碼訪問
            secrets file	指定用戶名和密碼存放的文件，格式；用戶名；密碼，密碼不超過 8 位
            [backup]	這里就是模塊名稱，需用中括號擴(kuò)起來，起名稱沒有特殊要求，但最好是有意義的名稱，便于以后維護(hù)
            path	這個(gè)模塊中，daemon 使用的文件系統(tǒng)或目錄，目錄的權(quán)限要注意和配置文件中的權(quán)限一致，否則會(huì)遇到讀寫的問題

            【4】rsync 常用命令參數(shù)詳解

            rsync --help
            
            rsync [選項(xiàng)]  原始位置   目標(biāo)位置
            
            常用選項(xiàng)    說明
            -r    遞歸模式，包含目錄及子目錄中的所有文件
            -l    對于符號鏈接文件仍然復(fù)制為符號鏈接文件
            -v    顯示同步過程的詳細(xì)信息
            -z    在傳輸文件時(shí)進(jìn)行壓縮goD
            -p    保留文件的權(quán)限標(biāo)記
            -a    歸檔模式，遞歸并保留對象屬性，等同于-rlpt
            -t    保留文件的時(shí)間標(biāo)記
            -g    保留文件的屬組標(biāo)記（僅超級用戶使用）
            -o    保留文件的屬主標(biāo)記（僅超級用戶使用）
            -H    保留硬鏈接文件
            -A    保留ACL屬性信息
            -D    保留設(shè)備文件及其他特殊文件
            --delete  刪除目標(biāo)位置有而原始位置沒有的文件
            --checksum  根據(jù)對象的校驗(yàn)和來決定是否跳過文件

            登錄后復(fù)制

            【5】啟動(dòng)服務(wù)（數(shù)據(jù)源機(jī)器）

            #rsync監(jiān)聽端口：873
            #rsync運(yùn)行模式：C/S
            rsync --daemon --config=/etc/rsyncd.conf
            netstat -tnlp|grep :873

            登錄后復(fù)制

            【6】執(zhí)行命令同步數(shù)據(jù)

            # 在目的機(jī)器上執(zhí)行
            # rsync -avz 用戶名@源主機(jī)地址/源目錄 目的目錄
            rsync -avz [email protected]:/opt/nfsdata/* /opt/nfsdata/

            登錄后復(fù)制

            【7】crontab 定時(shí)同步

            # 配置crontab， 每五分鐘同步一次，這種方式不好
            */5 * * * * rsync -avz [email protected]:/opt/nfsdata/* /opt/nfsdata/

            登錄后復(fù)制

            【溫馨提示】crontab 定時(shí)同步數(shù)據(jù)不太好，可以使用rsync+inotify做數(shù)據(jù)實(shí)時(shí)同步，這里篇幅有點(diǎn)長了，先不講，如果后面有時(shí)間會(huì)出一篇單獨(dú)文章來講。

            6）創(chuàng)建 nfs provisioner 和持久化存儲(chǔ) SC

            【溫馨提示】這里跟我之前的文章有點(diǎn)不同，之前的方式也不適用新版本。

            GitHub 地址：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

            helm 部署 nfs-subdir-external-provisioner

            1、添加 helm 倉庫

            helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

            登錄后復(fù)制

            2、helm 安裝 nfs provisioner

            【溫馨提示】默認(rèn)鏡像是無法訪問的，這里使用 dockerhub 搜索到的鏡像willdockerhub/nfs-subdir-external-provisioner:v4.0.2，還有就是 StorageClass 不分命名空間，所有在所有命名空間下都可以使用。

            helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
              --namespace=nfs-provisioner \
              --create-namespace \
              --set image.repository=willdockerhub/nfs-subdir-external-provisioner \
              --set image.tag=v4.0.2 \
              --set replicaCount=2 \
              --set storageClass.name=nfs-client \
              --set storageClass.defaultClass=true \
              --set nfs.server=192.168.0.120 \
              --set nfs.path=/opt/nfsdata

            登錄后復(fù)制

            【溫馨提示】上面 nfs.server 設(shè)置為 VIP，可實(shí)現(xiàn)高可用。

            3、查看

            kubectl get pods,deploy,sc -n nfs-provisioner

            登錄后復(fù)制

            7）部署 Harbor（Https 方式）

            1、創(chuàng)建 Namespace

            kubectl create ns harbor

            登錄后復(fù)制

            2、創(chuàng)建證書秘鑰

            kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harbor
            kubectl get secret myharbor.com -n harbor

            登錄后復(fù)制

            3、添加 Chart 庫

            helm repo add harbor https://helm.goharbor.io

            登錄后復(fù)制

            4、通過 helm 安裝 harbor

            helm install myharbor --namespace harbor harbor/harbor \
              --set expose.ingress.hosts.core=myharbor.com \
              --set expose.ingress.hosts.notary=notary.myharbor.com \
              --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
              --set expose.tls.secretName=myharbor.com \
              --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
              --set persistence.enabled=true \
              --set externalURL=https://myharbor.com \
              --set harborAdminPassword=Harbor12345

            登錄后復(fù)制

            這里稍等一段時(shí)間在查看資源狀態(tài)

            kubectl get ingress,svc,pods,pvc -n harbor

            登錄后復(fù)制

            5、ingress 沒有 ADDRESS 問題解決

            【分析】，發(fā)現(xiàn)"error: endpoints “default-http-backend” not found"

            cat << EOF > default-http-backend.yaml
            ---
            
            apiVersion: apps/v1
            kind: Deployment
            metadata:
              name: default-http-backend
              labels:
                app: default-http-backend
              namespace: harbor
            spec:
              replicas: 1
              selector:
                matchLabels:
                  app: default-http-backend
              template:
                metadata:
                  labels:
                    app: default-http-backend
                spec:
                  terminationGracePeriodSeconds: 60
                  containers:
                  - name: default-http-backend
                    # Any image is permissible as long as:
                    # 1. It serves a 404 page at /
                    # 2. It serves 200 on a /healthz endpoint
                    image: registry.cn-hangzhou.aliyuncs.com/google_containers/defaultbackend:1.4
            #        image: gcr.io/google_containers/defaultbackend:1.4
                    livenessProbe:
                      httpGet:
                        path: /healthz
                        port: 8080
                        scheme: HTTP
                      initialDelaySeconds: 30
                      timeoutSeconds: 5
                    ports:
                    - containerPort: 8080
                    resources:
                      limits:
                        cpu: 10m
                        memory: 20Mi
                      requests:
                        cpu: 10m
                        memory: 20Mi
            ---
            
            apiVersion: v1
            kind: Service
            metadata:
              name: default-http-backend
              namespace: harbor
              labels:
                app: default-http-backend
            spec:
              ports:
              - port: 80
                targetPort: 8080
              selector:
                app: default-http-backend
            EOF
            kubectl apply -f default-http-backend.yaml

            登錄后復(fù)制

            6、卸載重新部署

            # 卸載
            helm uninstall myharbor -n harbor
            kubectl get pvc -n harbor| awk 'NR!=1{print $1}' | xargs kubectl delete pvc -n harbor
            
            # 部署
            helm install myharbor --namespace harbor harbor/harbor \
              --set expose.ingress.hosts.core=myharbor.com \
              --set expose.ingress.hosts.notary=notary.myharbor.com \
              --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \
              --set expose.tls.secretName=myharbor.com \
              --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \
              --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \
              --set persistence.enabled=true \
              --set externalURL=https://myharbor.com \
              --set harborAdminPassword=Harbor12345

            登錄后復(fù)制

            5、訪問 harbor

            https://myharbor.com
            賬號/密碼：admin/Harbor12345
            

            6、harbor 常見操作

            【1】創(chuàng)建項(xiàng)目 bigdata

            【2】配置私有倉庫

            在文件/etc/docker/daemon.json添加如下內(nèi)容：

            "insecure-registries":["https://myharbor.com"]

            登錄后復(fù)制

            重啟 docker

            systemctl restart docker

            登錄后復(fù)制

            【3】服務(wù)器上登錄 harbor

            docker login https://myharbor.com
            #賬號/密碼：admin/Harbor12345

            登錄后復(fù)制

            【4】打標(biāo)簽并把鏡像上傳到 harbor

            docker tag rancher/pause:3.6 myharbor.com/bigdata/pause:3.6
            docker push myharbor.com/bigdata/pause:3.6

            登錄后復(fù)制

            7、修改 containerd 配置

            以前使用 docker-engine 的時(shí)候，只需要修改/etc/docker/daemon.json 就行，但是新版的 k8s 已經(jīng)使用 containerd 了，所以這里需要做相關(guān)配置，要不然 containerd 會(huì)失敗。證書（ca.crt）可以在頁面上下載：
            
            創(chuàng)建域名目錄

            mkdir /etc/containerd/myharbor.com
            cp ca.crt /etc/containerd/myharbor.com/

            登錄后復(fù)制

            配置文件：/etc/containerd/config.toml

            [plugins."io.containerd.grpc.v1.cri".registry]
                  config_path = ""
            
                  [plugins."io.containerd.grpc.v1.cri".registry.auths]
            
                  [plugins."io.containerd.grpc.v1.cri".registry.configs]
                    [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".tls]
                      ca_file = "/etc/containerd/myharbor.com/ca.crt"
                    [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".auth]
                      username = "admin"
                      password = "Harbor12345"
            
                  [plugins."io.containerd.grpc.v1.cri".registry.headers]
            
                  [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
                    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor.com"]
                      endpoint = ["https://myharbor.com"]

            登錄后復(fù)制

            
            重啟 containerd

            #重新加載配置
            systemctl daemon-reload
            #重啟containerd
            systemctl restart containerd

            登錄后復(fù)制

            簡單使用

            # 把docker換成crictl 就行，命令都差不多
            crictl pull myharbor.com/bigdata/mysql:5.7.38

            登錄后復(fù)制

            執(zhí)行 crictl 報(bào)如下錯(cuò)誤的解決辦法

            WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]. As the default settings are now deprecated, you should set the endpoint instead.
            ERRO[0000] unable to determine image API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"

            登錄后復(fù)制

            這個(gè)報(bào)錯(cuò)是 docker 的報(bào)錯(cuò)，這里沒使用，所以這個(gè)錯(cuò)誤不影響使用，但是還是解決好點(diǎn)，解決方法如下：

            cat <<EOF> /etc/crictl.yaml
            runtime-endpoint: unix:///run/containerd/containerd.sock
            image-endpoint: unix:///run/containerd/containerd.sock
            timeout: 10
            debug: false
            EOF

            登錄后復(fù)制

            再次拉取鏡像

            crictl pull myharbor.com/bigdata/mysql:5.7.38

            登錄后復(fù)制

            Kubernetes（k8s）最新版最完整版基礎(chǔ)環(huán)境部署+master 高可用實(shí)現(xiàn)詳細(xì)步驟就到這里了，有疑問的小伙伴歡迎給我留言哦~

            以上就是詳解 K8S 高可用部署，超詳細(xì)！的詳細(xì)內(nèi)容，更多請關(guān)注www.92cms.cn其它相關(guān)文章！