4.5 配置网桥过滤和地址转发

sudo bash -c 'cat <<EOF > /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
EOF'

#让配置生效
sudo sysctl -p
#加载网桥过滤模块
sudo modprobe br_netfilter
#查看模块是否被加载
sudo lsmod |grep br_netfilter

#重启电脑
reboot

4.6 配置ipvs功能

安装配置 ipvs

#安装相应软件
sudo apt install -y ipset ipvsadm

#开机加载模块
sudo tee /etc/modules-load.d/modules.conf << EOF
br_netfilter
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
EOF

reboot

查看ipvs规则

sudo ipvsadm -Ln

如果查看ipvs规则为空，可能意味着 kube-proxy 没有正确配置为使用 ipvs 模式

#查看是否使用 ipvs 模式
kubectl -n kube-system get configmap kube-proxy -o yaml
#检查 kind: KubeProxyConfiguration 旁边的 mode 参数。如果 mode 没有设置为 ipvs，那 kube-proxy 就不会使用 IPVS。

#修改参数，找到 mode ,修改其值为 ipvs 。
kubectl -n kube-system edit configmap kube-proxy 

#删除 proxy 的pod,kube-proxy 是 daenonSet ，删除了会自动新建
kubectl -n kube-system delete pod -l k8s-app=kube-proxy

5. 安装docker

安装必备的软件包以允许apt通过 HTTPS 使用存储库

sudo apt-get -y install ca-certificates curl gnupg lsb-release

添加Docker官方版本库的GPG密钥

sudo mkdir -p /etc/apt/keyrings &&
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

~~添加官方源~~

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

官方源被墙了，转用阿里源

#添加 Docker GPG key
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
#添加 apt 源:
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

安装docker

每个节点都必须安装docker

#更新库
sudo apt-get update
#安装
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
#将当前用户加入 docker 组
sudo usermod -aG docker $USER

#配置docker
sudo tee /etc/docker/daemon.json << EOF
{
        "exec-opts":["native.cgroupdriver=systemd"],
        "registry-mirrors":["https://ej8wpiko.mirror.aliyuncs.com"],
        "proxies": {
                "http-proxy": "http://192.168.1.171:7890",
                "https-proxy": "http://192.168.1.171:7890"
        }
}
EOF

#看下docker服务是不是开机自启，不是则设置自启
sudo systemctl daemon-reload && \
sudo systemctl enable docker --now

卸载 docker engine 方式 在安装时，不要卸载！！！

#卸载 docker engine
sudo apt-get purge -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin docker-ce-rootless-extras
#卸载并不会删除 Images, containers, volumes,configuration file。手动删除它们
sudo rm -rf /var/lib/docker && \
sudo rm -rf /var/lib/containerd

6. 安装 kubernetes

6.1 安装 k8s 需要的包

sudo apt-get update
# apt-transport-https 可以是一个虚拟包；如果是这样，你可以跳过这个包
sudo apt-get install -y apt-transport-https ca-certificates curl

6.2 添加 k8s 源

以下源二选一

#阿里源
echo "deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main" >> /etc/apt/sources.list.d/kubernetes.list
#官方源    需要什么版本就把如下版本号更改成需要的
sudo bash -c 'cat << EOF > /etc/apt/sources.list.d/kubernetes.list
deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /
EOF'

6.3 添加 k8s 公钥

#下载 Kubernetes 软件包仓库的公共签名密钥到/etc/apt/keyrings/
##在低于 Debian 12 和 Ubuntu 22.04 的发行版本中，/etc/apt/keyrings 默认不存在。 应在 curl 命令之前创建它。
##如果想用其他版本，把命令中的 v1.28 替换为所需版本即可，注：该版本只支持近五代的版本号
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg 
#更新源
sudo apt update
#关闭防火墙
sudo ufw disable

#要将 kubectl 升级到别的次要版本，你需要先升级 /etc/apt/sources.list.d/kubernetes.list 中的版本， 再运行 apt-get update 和 apt-get upgrade 命令

6.4 安装 kubelet kubeadm kubectl

sudo apt-get -y install kubelet kubeadm kubectl

6.5 安装 cri-dockerd

cri-dockerd是容器运行时接口（Container Runtime Interface，CRI），通过 cri 才能使用 docker 。在 v1.24 更早版本中，k8s中自带一个 dockershim 组件，v1.24时就已经把它给移除了，所以需要一个替代品，就是 cri-dockerd 。

control-plane、work-node 节点都需要安装！

#去github下载最新包，ubuntu下 amd64位的。centos下rpm版本

#解压到 /usr/bin 下
tar zxvf *.amd64.tgz
sudo mv cri-dockerd/cri-dockerd /usr/bin/
sudo chown root:root /usr/bin/cri-dockerd

#下载官方守护进程配置到 /etc/systemd/system/ ，并启动
wget https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.service
wget https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.socket
sudo mv cri-docker.socket cri-docker.service /etc/systemd/system/

sudo systemctl daemon-reload && \
sudo systemctl enable cri-docker.service && \
sudo systemctl enable --now cri-docker.socket

注意：如果是从 containerd 换成的 cri-dockerd ，那么执行 kubeadm命令时报 ： Found multiple CRI endpoints on the host. Please define which one do you wish to use by setting the 'criSocket' field in the kubeadm configuration file: unix:///var/run/containerd/containerd.sock, unix:///var/run/cri-dockerd.sock 在语句后面加上 --cri-socket=unix:///var/run/cri-dockerd.sock

配置kubelet 使用新的容器运行时

# 修改node对象文件，在任意一台能执行kubeadm命令的节点上运行以下命令。每个节点都要修改
kubectl edit no node1

# 更改 kubeadm.alpha.kubernetes.io/cri-socket 值为 unix:///var/run/cri-dockerd.sock

# 设置kubelet 开机自启并立即启动
sudo systemctl enable kubelet --now
#查看节点健康状态
kubectl get nodes -o wide

6.6 初始化控制平面

# kubeadm 初始化
sudo kubeadm init --apiserver-advertise-address=192.168.1.180 \
    --pod-network-cidr=10.244.0.0/16 \
    --cri-socket=unix:///var/run/cri-dockerd.sock


#然后根据提示执行命令。这段配置用于让普通用户可以有执行kubectl命令的能力，work node也可以执行，不过需要从 control-plane 把admin.conf复制过来。
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

#根据提示在工作节点执行命令，让工作节点添加到集群里
sudo kubeadm join 192.168.0.180:6443 --token 6qh4l9.9w00l5izdugh5jw7         --discovery-token-ca-cert-hash sha256:cd1ad31a6928be824a6eb849120b756c896e9b8c7f9d1de925217a2bde8bff5e
#如果命令忘了可以执行该命名获取
kubeadm token create --print-join-command
# 如果提示 Found multiple CRI endpoints on the host. Please define which one do you wish to use by setting the 'criSocket' field in the kubeadm configuration file: unix:///var/run/containerd/containerd.sock, unix:///var/run/cri-dockerd.sock，在命令后面添加如下参数
--cri-socket=unix:///var/run/cri-dockerd.sock

#如果执行加入命令后，一直 NotReady，看看 是不是没有 **镜像**，用以下命令拉取镜像。
sudo kubeadm config images pull

• --image-repository registry.aliyuncs.com/google_containers：表示使用阿里云镜像仓库，不然有些镜像下载不下来
• --kubernetes-version=v1.24.17：指定kubernetes的版本
• --pod-network-cidr=10.244.0.0/16：指定pod的网段
• --config kubeadm-config.yaml
• coredns是一个用go语言编写的开源的DNS服务
• --apiserver-advertise-address 集群内通告地址，相当于内网地址
• --control-plane-endpoint=124.223.45.80:6443 参数指定了公网 IP 地址和端口，用于外部访问 Kubernetes 控制平面
• --service-cidr=10.96.0.0/12 集群内部虚拟网络，Pod统一访问入口
• --cri-socket 指定cri-dockerd接口，如果是containerd则使用--cri-socket unix:///run/containerd/containerd.sock

6.7 重置 kubeadm (集群有问题时才执行)

按需执行！！！

master节点执行命令

#移除节点
kubectl delete node <节点名称>
#重置 kubeadm 状态 包括 kubeadm init 失败后重置环境，和 node 节点重置
kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock
#清空之前 kubeadm 的文件
rm -rf /etc/cni /etc/kubernetes /var/lib/dockershim /var/lib/etcd  /var/run/kubernetes 
#重置 iptables 规则
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#重置 IPVS 表
ipvsadm -C
# 删除所有名称以 "cali" 开头的接口
ip -o link show | awk -F': ' '$2 ~ /^cali/ {print $2}' | xargs -I {} ip link delete {}
ip link delete vxlan.calico

子节点执行命令

#重置 kubeadm 状态 包括 kubeadm init 失败后重置环境，和 node 节点重置
kubeadm reset -f --cri-socket=unix:///var/run/cri-dockerd.sock
#清空之前 kubeadm 的文件
rm -rf /etc/cni /etc/kubernetes /var/lib/dockershim /var/lib/etcd  /var/run/kubernetes 
#重置 iptables 规则
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#重置 IPVS 表
ipvsadm -C
# 删除所有名称以 "cali" 开头的接口
ip -o link show | awk -F': ' '$2 ~ /^cali/ {print $2}' | xargs -I {} ip link delete {}
ip link delete vxlan.calico

6.8 配置kubectl命令tab键自动补全

#查看kubectl自动补全命令
kubectl --help | grep bash
#添加配置到全局
sudo sh -c 'echo "source <(kubectl completion bash)" >> /etc/profile'
#或者，添加到当前用户下终端，需根据自己所使用的是 bash 还是 zsh 来更改下面的命令
echo "source <(kubectl completion bash)" >>~/.bashrc
#应用配置。修改的哪个文件就应用哪个文件
source /etc/profile
source ~/.bashrc

7. 部署CNI网络插件 calico

虽然现在kubernetes集群已经有1个master节点，2个worker节点，但是此时三个节点的状态都是NotReady的，原因是没有CNI网络插件，为了节点间的通信，需要安装cni网络插件，常用的cni网络插件有calico和flannel，两者区别为：flannel不支持复杂的网络策略，calico支持网络策略，因为今后还要配置kubernetes网络策略networkpolicy，所以本文选用的cni网络插件为calico！ calico官方文档

7.1 安装 calico

只需在一台 control-plane 安装即可

# 安装calico的环境
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/tigera-operator.yaml
# 拉取calico配置文件
curl https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/custom-resources.yaml -O

#calico默认 k8s 网段是 `192.168.0.0/16`，如果在 kubeadm init 时指定了网段 --pod-network-cidr=10.244.0.0/16，就要修改calico配置
vim custom-resources.yaml
#找到 cidr，修改网段

# 部署calico
kubectl create -f custom-resources.yaml
#查看calico是否运行
kubectl get pods -n calico-system
#如果没有pod 运行，不要着急。calico要下载images，静候佳音即可！

7.2 清除 calico 网络接口

# master 上执行
kubectl delete -f https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/tigera-operator.yaml
kubectl delete -f custom-resources.yaml

# 有时 delete tigera-operator.yaml ，会卡在最后一步，直接ctrl+c取消，执行如下语句
kubectl get namespace tigera-operator -o json > /tmp/tigera-ns.json
jq 'del(.spec.finalizers)' /tmp/tigera-ns.json > /tmp/tigera-ns-clean.json
kubectl replace --raw "/api/v1/namespaces/tigera-operator/finalize" -f /tmp/tigera-ns-clean.json


# 清除 node 节点的网络接口
# 删除所有名称以 "cali" 开头的接口
ip -o link show | awk -F': ' '$2 ~ /^cali/ {print $2}' | xargs -I {} ip link delete {}
ip link delete vxlan.calico

8. 部署nginx测试 k8s 能否正常工作

#部署nginx
kubectl create deployment nginx --image=nginx:1.14-alpine
#暴露80端口
kubectl expose deployment nginx --port=80 --type= NodePort
#查看服务状态
kubectl get pods,service
##看 nginx 的 PORT(S) 这列，80端口暴露到本集群的哪个端口两，通过集群任意节点+端口号即可访问nginx

9. 配置 在 node 节点上运行 kubectl 命令

kubectl的配置文件在 $HOME/.kube 目录下，要在node节点运行，配置文件肯定不能少。

#把kube配置传到node节点home目录下
scp -r -P 7777 $HOME/.kube node1:$HOME/

10. 一些设置命令

10.1 允许控制平面上调度 pod

kubectl taint nodes --all node-role.kubernetes.io/control-plane-

11. k8s 升级

k8s升级版本只能一个版本逐级升级，不能跨版本升级！升级节点时，最好每个节点依次升级！

#修改apt源，下面的 v1.24 就是要升级的版本号，可自行修改成想升级的版本号
sudo tee /etc/apt/sources.list.d/kubernetes.list <<EOF
deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.24/deb/ /
EOF
#更新apt包索引
sudo apt update
#查看可更新的版本
sudo apt-cache madison kubeadm
# 触发 kube-apiserver 体面关闭
#


#对于第一个控制面节点升级 kubeadm 
sudo apt-mark unhold kubeadm && \
sudo apt-get update && sudo apt-get install -y kubeadm='1.29.17-1.1' && \
sudo apt-mark hold kubeadm
#验证版本
kubeadm version
#验证升级计划
sudo kubeadm upgrade plan
#kubeadm upgrade 也会自动对 kubeadm 在节点上所管理的证书执行续约操作。 如果需要略过证书续约操作，可以使用标志 --certificate-renewal=false

#对于 v1.28 之前的版本，kubeadm 默认采用这样一种模式：在 kubeadm upgrade apply 期间立即升级插件（包括 CoreDNS 和 kube-proxy），而不管是否还有其他尚未升级的控制平面实例。 这可能会导致兼容性问题。从 v1.28 开始，kubeadm 默认采用这样一种模式： 在开始升级插件之前，先检查是否已经升级所有的控制平面实例。 你必须按顺序执行控制平面实例的升级，或者至少确保在所有其他控制平面实例已完成升级之前不启动最后一个控制平面实例的升级， 并且在最后一个控制平面实例完成升级之后才执行插件的升级。如果你要保留旧的升级行为，可以通过 kubeadm upgrade apply --feature-gates=UpgradeAddonsBeforeControlPlane=true 启用 UpgradeAddonsBeforeControlPlane 特性门控。Kubernetes 项目通常不建议启用此特性门控， 你应该转为更改你的升级过程或集群插件，这样你就不需要启用旧的行为。 UpgradeAddonsBeforeControlPlane 特性门控将在后续的版本中被移除。
#升级 kubeadm
sudo kubeadm upgrade apply v1.24.2

#升级其他控制节点或工作节点的 kubeadm
sudo kubeadm upgrade node

# 将 <node-to-drain> 替换为你要腾空的控制面节点名称，为升级kubelet和kubectl做准备
kubectl drain <node-to-drain> --ignore-daemonsets
#升级
sudo apt-mark unhold kubelet kubectl && \
sudo apt-get update && sudo apt-get install -y kubelet='1.24.2-00' kubectl='1.24.2-00' && \
sudo apt-mark hold kubelet kubectl
#重启 kubelet
sudo systemctl daemon-reload
sudo systemctl restart kubelet
#解除节点保护
kubectl uncordon <node-to-uncordon>

12. 备份 etcd

etcd 是 k8s 的数据库，数据库目录位于 /var/lib/etcd 。

12.1 安装 etcdctl

# 查看当前 etcd 版本
kubectl describe pod etcd-$(hostname) -n kube-system|grep "Image:"
# 若是 3.5.15 则进如下连接下载 amd64 位版本
https://github.com/etcd-io/etcd/releases/tag/v3.5.15
# 解压
tar zxvf etcd-v3.5.15-linux-amd64.tar.gz
# 移动到 bin 目录
sudo mv etcdctl /usr/local/bin/

12.2 检查快照数据完整性

# 已被废弃
ETCDCTL_API=3 etcdctl --endpoints=https://192.168.1.180:2379 \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  snapshot status /var/lib/etcd/snapshot-20250311.db

# 新版
sudo etcdutl snapshot status /var/lib/etcd/snapshot-20250311.db

12.3 备份

ETCDCTL_API=3 etcdctl snapshot save /var/lib/etcd/snapshot-$(date +%Y%m%d).db \
  --endpoints=https://192.168.1.180:2379 \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt

12.4 使用快照恢复

# 恢复前需要把所有的 etcd 都停掉
systemctl stop kubelet docker

# 已被废弃
ETCDCTL_API=3 etcdctl --endpoints=https://192.168.1.180:2379 \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  snapshot restore /var/lib/etcd/snapshot-20250311.db --data-dir=/var/lib/etcd-restore

# 新版
sudo etcdutl snapshot restore /var/lib/etcd/snapshot-20250311.db --data-dir=/var/lib/etcd-restore

# 替换数据目录
sudo rm -rf /var/lib/etcd
sudo mv /var/lib/etcd-restore /var/lib/etcd

sudo systemctl start docker kubelet

12.5 验证修复

sudo ETCDCTL_API=3 etcdctl --endpoints=https://192.168.1.180:2379 \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  endpoint health

13. kube-proxy 修复

# 重新生成 kube-proxy 的配置
kubeadm init phase addon kube-proxy

# 检查 kube-proxy 是否运行
kubectl get pods -n kube-system | grep kube-proxy

二. Helm

Helm 是 k8s 的包管理器。类似于 ubunutu 的 apt 和 apt-get 包管理器，用于简化应用的部署和管理。Helm 将 Chart 中的模板文件（templates/*.yaml）与用户提供的 values.yaml 或命令行参数结合，生成最终的 Kubernetes 资源清单（YAML 文件），Helm 客户端直接将渲染后的 YAML 提交给 Kubernetes API Server，创建或更新资源。

helm 中几个概念解释： - Chart: 是创建一个应用的信息集合，包括各种 k8s 对象的配置模板、参数定义、依赖关系、文档说明等。chart 是应用部署的自包含逻辑单元。可以将 chart 想象成 apt 的包管理工具。 - Release: 是 chart 的运行实例，代表了一个正在运行的应用。当 chart 被安装到 k8s 集群，就生成一个 release。chart 能够多次安装到同一个集群，每次安装都是一个 release。 - helm cli: helm 客户端组件，负责和 k8s api Server 通信。 - Repository: 用于发布和存储 chart 的仓库。

helm 有两个版本 v2 ， v3： - v2：v2 版本是 C/S 架构，依赖服务端组件 Tiller（运行在集群中），负责管理 Release 状态，存在安全风险（Tiller 拥有集群管理员权限）。 - v3：移除了 Tiller，完全通过客户端（helm 命令）与 Kubernetes API 直接交互，Release 信息存储在集群的 Secrets 中，安全性更高。

helm 官网

1. 安装

1.1 ubuntu 安装

curl https://baltocdn.com/helm/signing.asc | gpg --dearmor | sudo tee /usr/share/keyrings/helm.gpg > /dev/null
sudo apt-get install apt-transport-https --yes
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/helm.gpg] https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.list
sudo apt-get update
sudo apt-get install helm

1.2 二进制文件安装

1. 去他们的 Github 仓库 下载需要的版本，下载 amd64架构的。
2. 解压 tar -zxvf helm*.tar.gz
3. 在解压目录中找到 helm，移动到需要的目录中 mv linux-amd64/helm /usr/local/bin/helm

1.3 Homebrew

brew install helm

2. 部署应用

helm 可以从多个源进行安装

# chart 仓库
helm install apache bitnami/apache
# 本地 chart 包
helm install apache path/apache.tgz
# 解压后的 chart 目录
helm install apache path/apache
# 完整的 URL
helm install apache https://charts.bitnami.com/bitnami/apache-11.3.4

2.1 添加 Chart 仓库

helm repo add bitnami https://charts.bitnami.com/bitnami

2.2 安装 Chart 示例

默认部署

# 确定我们可以拿到最新的charts列表
helm repo update
# 测试 部署 apache
helm install bitnami/apache --generate-name

# 卸载 apache，--keep-history 保留版本历史，删除应用还能用 list 命令查看到
helm uninstall apache-1747570880 --keep-history

通过 yaml 文件自定义端口部署 编写配置文件 values.yaml。要修改什么就写什么配置，helm 用 values.yaml 去覆盖默认配置。

service:
  type: NodePort

部署应用，-f 与 --values 等价，该参数可以使用多次，最右边的配置文件优先级最高！

helm install -f values.yaml apache bitnami/apache

通过命令行方式自定义端口部署

# 下面命令会以 --set 命令行方式的配置去部署！
helm install --set service[0].port=12345 -f values.yaml apache bitnami/apache

# 查看应用自定义的配置
helm get values apache

# 清除自定义的 --set 中的值
helm upograde --reset-values

2.3 helm 安装资源顺序

Helm 在安装 Chart 时，会按照 特定顺序 创建 Kubernetes 资源，以确保依赖关系和初始化逻辑的正确性。以下是 Helm 资源安装的核心顺序规则：

Namespace (如果在 Chart 中定义)
NetworkPolicy
ResourceQuota
LimitRange
PodSecurityPolicy (已弃用，但仍可能在某些 Chart 中使用)
Secret
ConfigMap
StorageClass
PersistentVolume
PersistentVolumeClaim
ServiceAccount
Role
ClusterRole
RoleBinding
ClusterRoleBinding
Service
Headless Service
Endpoints
NetworkPolicy (涉及 Pod Selector)
PodDisruptionBudget
StatefulSet
Deployment
ReplicaSet
DaemonSet
Job
CronJob
HorizontalPodAutoscaler
Pod
Ingress
APIService
CustomResourceDefinition (CRD)
MutatingWebhookConfiguration
ValidatingWebhookConfiguration

3. 命令

# 搜索仓库中的某个资源
helm search repo bitmani
# 查看 apache chart 基本信息
helm show chart bitnami/apache
# 查看 apache 所有的信息
helm show all bitnami/apache
# 查看部署信息
helm list --all
# 查看版本号
helm history apache

3.1 upgrade

upgrade 用于升级 chart 新版本，或修改 release 的配置

# 使用 valuse.yaml 文件更新配置
helm upgrade -f values.yaml apache 

3.2 rollback

用于回滚到之前发布的版本 - --dry-run 模拟回滚操作（不实际执行） - --no-hooks 跳过 Hook 的执行 - --disable-openapi-validation 跳过 OpenAPI 验证（兼容旧版本资源） - --force 强制回滚（即使资源已不存在） - --cleanup-on-fail 回滚失败时清理残留资源 - --timeout 5m 设置超时时间（默认 5 分钟），单位 ns,us,ms,s,m,h - --wait 等待所有资源就绪（默认启用）才会标记该 release 为成功。 - --no-wait 异步回滚（不等待资源就绪）

# 回滚到之前版本
helm rollback apache 版本号

s

三. Kubernetes

1. 资源管理方式

资源管理方式主要有三种。 - 命令式对象管理 直接使用命令去操作kubernetes资源；缺点：无法审计和跟踪 kubectl run nginx-pod --image=nginx:1.17.1 --port=80 ···········- 命令式对象配置 通过命令配置和配置文件去操作kubernetes资源；优点：可以审计跟踪；缺点：项目大时配置文件太多 kubectl create/patch -f nginx-pod.yaml - 声明式对象配置 通过apply命令和配置文件去操作kubernetes资源，主要用于创建和更新资源；优点：支持目录操作；缺点：意外情况难调试 kubectl apply -f nginx-pod.yaml

1.1 命令式对象管理

kubectl命令的语法： kubectl [command] [type] [name] [flags] - comand：指定要对资源执行的操作,例如create、get、delete - type：指定资源类型,比如deployment、pod、service - name：指定资源的名称,名称大小写敏感 - flags：指定额外的可选参数

# 查看所有pod
kubectl get pod
# 查看某个pod
kubectl get pod pod_name
# 查看某个pod,以yaml格式展示结果
kubectl get pod pod_name -o yaml

kubernetes中所有的内容都抽象为资源，通过 kubectl api-resources查看；常用资源如下：

资源名称	缩写	资源作用
nodes	no	集群组成部分
namespaces	ns	隔离Pod
pods	po	装载容器
replicationcontrollers	rc	控制pod资源
replicasets	rs	控制pod资源
deployments	deploy	控制pod资源
daemonsets	ds	控制pod资源
jobs		控制pod资源
cronjobs	cj	控制pod资源
horizontalpodautoscalers	hpa	控制pod资源
statefulsets	sts	控制pod资源
services	svc	统一pod对外接口
ingress	ing	统一pod对外接口
volumeattachments		存储
persistentvolumes	pv	存储
persistentvolumeclaims	pvc	存储
configmaps	cm	存储
secrets		存储

kubernetes允许对资源进行多种操作,可以通过--help查看详细的操作命令 kubectl --help；常用操作如下所示：

命令	翻译	命令作用
create	创建	创建一个资源
edit	编辑	编辑一个资源
get	获取	获取一个资源
patch	更新	更新一个资源
delete	删除	删除一个资源
explain	解释	展示资源文档
run	运行	在集群中运行一个指定的镜像
expose	暴露	暴露资源为Service
describe	描述	显示资源内部信息
logs	日志	输出容器在 pod 中的日志
attach	缠绕	进入运行中的容器
exec	执行	执行容器中的一个命令
cp	复制	在Pod内外复制文件
rollout	首次展示	管理资源的发布
scale	规模	扩(缩)容Pod的数量
autoscale	自动调整	自动调整Pod的数量
apply	应用	通过文件对资源进行配置
label	标签	更新资源上的标签
cluster-info	集群信息	显示集群信息
version	版本	显示当前Server和Client的版本

1.2 命令式对象配置

通过命令操作配置文件来管理资源。

创建一个 nginxpod.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: v1
kind: Pod
metadata:
  name: nginxpod
  namespace: dev
spec:
  containers:
  - name: nginx-containers
    image: nginx:1.17.1

1.3 声明式对象配置

声明式对象配置只有一个 apply 命令

kubectl apply -f nginxpod.yaml
#资源不存在相当于创建，资源存在就是更新操作

2. 资源简介

2.1 namespace

namespacek8s中的一种非常重要的资源，主要用于实现多租户的资源隔离。 默认情况下，集群中的所有pod都是可以互相访问的。实际中，不可能让所有的pod都能进行访问，namespace就可以解决这个问题。namespace把pod划分到不同的“组”，组内资源可以互相访问，但组外资源不可访问，从而实现资源隔离。此外，namespace还可以结合kubernetes的资源配额机制，限定不同租户所占用的资源，如cpu使用量，内存使用量等，实现多租户的可用资源管理。 kubernetes默认存在4个namespace - default ：所有未指定namespace的对象都会被分配在default中 - kube-node-lease：集群节点的心跳维护，v1.13开始引入 - kube-public：该namespace中的资源可以被所有人访问，包括为认证用户 - kube-system：由kubernetes所创建的资源都存在此namespace

# 查看所有
kubectl get ns
# 查看指定
kubectl get ns default
# 按指定格式输出
kubectl get ns default -o yaml
# 查看ns详情
kubectl describe ns default
# 创建namespace
kubectl create ns dev
kubectl create -f ns-dev.yaml 
# 删除namespace
kubectl delete ns dev
kubectl delete -f ns-dev.yaml 

2.2 pod

pod是k8s中管理的最小单元，程序要运行必须部署在容器中，容器又必须存在于pod中。一个pod中可以有一个或者多个容器。

2.2.1 创建并运行

kubectl run podName [options] - --image 指定pod镜像 - --port 指定端口 - --namespace 指定namespace 例：kubectl run nginx --image=nginx:1.17.1 --port=80 --namespace=dev

2.2.2 查看pod

#查看pod基本信息
kubectl get pods -n dev
#查看pod详细信息
kubectl describe pod nginx -n dev
#查看pod IP信息
kubectl get pods -n dev -o wide
#查看dev的namespace下的Pod控制器
kubectl get deploy -n dev
#删除指定pod，被pod控制器管理的pod又会创建个新pod
kubectl delete pod nginx -n dev
#删除pod控制器
 kubectl delete deploy nginx -n dev

2.3 label

Label用于在资源上添加标识，进而对资源进行区分和选择。 - Label以 kv 键值对的形式存在，如“version=1.0”，可以附加在如node、pod、service等资源上。 - 每一资源对象可以添加任意数量label， 每一label也可以分配到任意数量的资源上。 - label通常在资源定义时确定，当然也可以在创建后进行添加和删除。 Label Selector 用于查询和筛选拥有标签的资源对象，有两种方式 - 等式：author!=moloom 选择标签名author值不为moloom的资源 - 集合：author in (moloom,robin) 选择标签名author且值为moloom或robin的资源 author not in (moloom) 选择标签名author值不为moloom的资源

# 添加label
kubectl label pod nginx-test version=1.0 -n dev
# 修改label
kubectl label pod nginx-test -n dev version=1.0.2 --overwrite
# 查看label
kubectl get pod nginx-test -n dev --show-labels
# 筛选标签
kubectl get pod -n dev -l version=2.0 --show-labels
#删除标签
kubectl label pod nginx-test -n dev tag-

在yaml中，label在 metadata 层下

metadata:
    name: nginx-test
    namespace: dev
    labels:
        version: "1.0"
        env: "test"

2.4 deployment

在k8s中，pod作为最小资源个体，很少直接被k8s控制。一般来说，k8s通过pod控制器来控制pod，pod控制器用于pod的管理，确保pod资源符合与其的状态，当pod资源出现故障时，会尝试进行重启或重建pod。 kubectl create deployment podName [options] - --image 指定pod镜像 - --port 指定端口 - --replicas 指定创建pod数量 - --namespace 指定namespace 例：kubectl create deployment nginx --image=nginx:1.17.1 --port=80 --replicas=3 -n dev 注：新版创建deploy控制器是如上命令。旧版用run命令即可，默认就是由deploy控制器控制。 如上命令执行后，deploy控制器会自动添加一个label ，app=$podName 。

#查看deployment的信息
kubectl get deploy -n dev
#查看deployment的详细信息
kubectl describe deploy nginx -n dev
#删除deployment
 kubectl delete deploy nginx -n dev

yaml配置

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - image: nginx:1.17.1
        name: nginx
        ports:
        - containerPort: 80
          protocol: TCP

2.5 service

Service可以看作是一组同类Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡。

#暴露service
kubectl expose deploy nginx --name=svc-nginx1 --type=ClusterIP --port=80 --target-port=80 -n dev
    --type=ClusterIP  创建的是只允许内部访问的ip，不对外暴露端口
    --type=NodePort 创建内部ip ，并对外暴露端口

# 查看service
 kubectl get svc svc-nginx -n dev -o wide
#删除service
 kubectl delete svc svc-nginx-1 -n dev

yaml配置

apiVersion: v1
kind: Service
metadata:
  name: svc-nginx
  namespace: dev
spec:
  clusterIP: 10.109.179.231
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: ClusterIP

3. Pod

每一个pod中可以有一个或多个容器。pod中有一个名为Pause的容器，她是pod的根容器，整个pod的ip地址被设置在此容器中，其他容器都通过pause容器来实现网络通信，pause也被用于评估整个pod的健康状态。

#查看pod的一级属性
kubectl explain pod
#查看pod中metadata的属性
kubectl explain pod.metadata

3.1 pod 关于yaml的配置清单

pod的yaml配置参数详情

apiVersion: v1     #必选，版本号，例如v1
kind: Pod       　 #必选，资源类型，例如 Pod
metadata:       　 #必选，元数据
  name: string     #必选，Pod名称
  namespace: string  #Pod所属的命名空间,默认为"default"
  labels:       　　  #自定义标签列表
    - name: string
spec:  #必选，Pod中容器的详细定义
  containers:  #必选，Pod中容器列表
  - name: string   #必选，容器名称
    image: string  #必选，容器的镜像名称
    imagePullPolicy: [ Always|Never|IfNotPresent ]  #获取镜像的策略
    command: [string]   #容器的启动命令列表，如不指定，使用打包时使用的启动命令
    args: [string]      #容器的启动命令参数列表
    workingDir: string  #容器的工作目录
    volumeMounts:       #挂载到容器内部的存储卷配置
    - name: string      #引用pod定义的共享存储卷的名称，需用volumes[]部分定义的的卷名
      mountPath: string #存储卷在容器内mount的绝对路径，应少于512字符
      readOnly: boolean #是否为只读模式
    ports: #需要暴露的端口库号列表
    - name: string        #端口的名称
      containerPort: int  #容器需要监听的端口号
      hostPort: int       #容器所在主机需要监听的端口号，默认与Container相同
      protocol: string    #端口协议，支持TCP和UDP，默认TCP
    env:   #容器运行前需设置的环境变量列表
    - name: string  #环境变量名称
      value: string #环境变量的值
    resources: #资源限制和请求的设置
      limits:  #资源限制的设置
        cpu: string     #Cpu的限制，单位为core数，将用于docker run --cpu-shares参数
        memory: string  #内存限制，单位可以为Mib/Gib，将用于docker run --memory参数
      requests: #资源请求的设置
        cpu: string    #Cpu请求，容器启动的初始可用数量
        memory: string #内存请求,容器启动的初始可用数量
    lifecycle: #生命周期钩子
        postStart: #容器启动后立即执行此钩子,如果执行失败,会根据重启策略进行重启
        preStop: #容器终止前执行此钩子,无论结果如何,容器都会终止
    livenessProbe:  #对Pod内各容器健康检查的设置，当探测无响应几次后将自动重启该容器
      exec:       　 #对Pod容器内检查方式设置为exec方式
        command: [string]  #exec方式需要制定的命令或脚本
      httpGet:       #对Pod内个容器健康检查方法设置为HttpGet，需要制定Path、port
        path: string
        port: number
        host: string
        scheme: string
        HttpHeaders:
        - name: string
          value: string
      tcpSocket:     #对Pod内个容器健康检查方式设置为tcpSocket方式
         port: number
       initialDelaySeconds: 0       #容器启动完成后首次探测的时间，单位为秒
       timeoutSeconds: 0    　　    #对容器健康检查探测等待响应的超时时间，单位秒，默认1秒
       periodSeconds: 0     　　    #对容器监控检查的定期探测时间设置，单位秒，默认10秒一次
       successThreshold: 0
       failureThreshold: 0
       securityContext:
         privileged: false
  restartPolicy: [Always | Never | OnFailure]  #Pod的重启策略
  nodeName: <string> #设置NodeName表示将该Pod调度到指定到名称的node节点上
  nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上
  imagePullSecrets: #Pull镜像时使用的secret名称，以key：secretkey格式指定
  - name: string
  hostNetwork: false   #是否使用主机网络模式，默认为false，如果设置为true，表示使用宿主机网络
  volumes:   #在该pod上定义共享存储卷列表
  - name: string    #共享存储卷名称 （volumes类型有很多种）
    emptyDir: {}       #类型为emtyDir的存储卷，与Pod同生命周期的一个临时目录。为空值
    hostPath: string   #类型为hostPath的存储卷，表示挂载Pod所在宿主机的目录
      path: string      　　        #Pod所在宿主机的目录，将被用于同期中mount的目录
    secret:       　　　#类型为secret的存储卷，挂载集群与定义的secret对象到容器内部
      scretname: string
      items:
      - key: string
        path: string
    configMap:         #类型为configMap的存储卷，挂载预定义的configMap对象到容器内部
      name: string
      items:
      - key: string
        path: string

3.2 配置中的5个根属性

在k8s中，基本所有一级属性都是一样的，包括以下5部分： - apiVersion 《string》，由k8s内部定义，版本好必须是用 kubectl api-version 能查到的 - kind 《tring》 定义该配置是属于哪种资源类型，内部定义，必须是 kubectl api-resource可以查到的 - metadata 《Object》，资源标识和说明，有name、namespace、labels等 - status