���录

前瞻

emptyDir存储卷

hostPath存储卷

nfs共享存储卷

PVC 和 PV

NFS使用PV和PVC

配置nfs存储

 定义PV

定义PVC

 测试访问

搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建

在192.168.75.40节点上安装nfs，并配置nfs服务

创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

使用 Deployment 来创建 NFS Provisioner

创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

创建 PVC 和 Pod 测试

---

前瞻

K8S存储卷 volumes（与containers字段同一层级）

emptyDir：可实现Pod中的容器之间共享目录数据，但没有持久化数据的能力，存储卷会随着Pod生命周期结束而一起删除

hostPath：将node节点上的目录或文件挂载到Pod容器中，有持久化数据的能力，但是只能在单个node节点上持久化数据，不能实现跨node节点的Pod共享数据

nfs：将nfs服务的共享目录挂载到Pod容器中，有持久化数据的能力，且也能实现跨node节点的Pod共享数据

emptyDir存储卷

当Pod被分配给节点时，首先创建emptyDir卷，并且只要该Pod在该节点上运行，该卷就会存在。正如卷的名字所述，它最初是空的。Pod 中的容器可以读取和写入emptyDir卷中的相同文件，尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除 Pod 时，emptyDir中的数据将被永久删除。

mkdir /opt/volumescd /opt/volumesvim pod-emptydir.yaml apiVersion: v1kind: Podmetadata:  name: pod-emptydir  namespace: default  labels:    app: myapp    tier: frontendspec:  containers:  - name: myapp    image: ikubernetes/myapp:v1    imagePullPolicy: IfNotPresent    ports:    - name: http      containerPort: 80#定义容器挂载内容    volumeMounts:#使用的存储卷名称，如果跟下面volume字段name值相同，则表示使用volume的这个存储卷    - name: html  #挂载至容器中哪个目录      mountPath: /usr/share/nginx/html/  - name: busybox    image: busybox:latest    imagePullPolicy: IfNotPresent    volumeMounts:    - name: html  #在容器内定义挂载存储名称和挂载路径      mountPath: /data/    command: ['/bin/sh','-c','while true;do echo $(date) >> /data/index.html;sleep 2;done']  #定义存储卷  volumes:  #定义存储卷名称    - name: html    #定义存储卷类型    emptyDir: {}kubectl apply -f pod-emptydir.yamlkubectl get pods -o wide

在上面定义了2个容器，其中一个容器是输入日期到index.html中，然后验证访问nginx的html是否可以获取日期。以验证两个容器之间挂载的emptyDir实现共享。 

 

hostPath存储卷

hostPath卷将 node 节点的文件系统中的文件或目录挂载到集群中。

hostPath可以实现持久存储，但是在node节点故障时，也会导致数据的丢失。

#在 node01 节点上创建挂载目录mkdir -p /data/pod/volume1echo 'node01.kgc.com' > /data/pod/volume1/index.html#在 node02 节点上创建挂载目录mkdir -p /data/pod/volume1echo 'node02.kgc.com' > /data/pod/volume1/index.html#创建 Pod 资源vim pod-hostpath.yamlapiVersion: v1kind: Podmetadata:  name: pod-hostpath  namespace: defaultspec:  containers:  - name: myapp    image: ikubernetes/myapp:v1#定义容器挂载内容    volumeMounts:#使用的存储卷名称，如果跟下面volume字段name值相同，则表示使用volume的这个存储卷    - name: html  #挂载至容器中哪个目录      mountPath: /usr/share/nginx/html  #读写挂载方式，默认为读写模式false  readOnly: false  #volumes字段定义了paues容器关联的宿主机或分布式文件系统存储卷  volumes:    #存储卷名称    - name: html  #路径，为宿主机存储路径      hostPath:    #在宿主机上目录的路径        path: /data/pod/volume1#定义类型，这表示如果宿主机没有此目录则会自动创建        type: DirectoryOrCreatekubectl apply -f pod-hostpath.yaml#访问测试kubectl get pods -o widecurl 10.244.196.163#删除pod，再重建，验证是否依旧可以访问原来的内容kubectl delete -f pod-hostpath.yaml  kubectl apply -f pod-hostpath.yaml kubectl get pods -o widecurl 10.244.196.140

 

nfs共享存储卷

#在stor01节点上安装nfs，并配置nfs服务mkdir /data/volumes -pchmod 777 /data/volumesvim /etc/exports/data/volumes 192.168.75.0/24(rw,no_root_squash)systemctl start rpcbindsystemctl start nfsshowmount -eExport list for stor01:/data/volumes 192.168.80.0/24#master节点操作vim pod-nfs-vol.yamlapiVersion: v1kind: Podmetadata:  name: pod-vol-nfs  namespace: defaultspec:  containers:  - name: myapp    image: ikubernetes/myapp:v1    volumeMounts:    - name: html      mountPath: /usr/share/nginx/html  volumes:    - name: html      nfs:        path: /data/volumes        server: stor01kubectl apply -f pod-nfs-vol.yamlkubectl get pods -o wide#在nfs服务器上创建index.htmlcd /data/volumesvim index.html
 nfs stor01
#master节点操作curl 10.244.196.159
 nfs stor01
kubectl delete -f pod-nfs-vol.yaml   #删除nfs相关pod，再重新创建，可以得到数据的持久化存储kubectl apply -f pod-nfs-vol.yaml

PVC 和 PV

PV 全称叫做 Persistent Volume，持久化存储卷。它是用来描述或者说用来定义一个存储卷的，这个通常都是由运维工程师来定义。

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。

上面介绍的PV和PVC模式是需要运维人员先创建好PV，然后开发人员定义好PVC进行一对一的Bond，但是如果PVC请求成千上万，那么就需要创建成千上万的PV，对于运维人员来说维护成本很高，Kubernetes提供一种自动创建PV的机制，叫StorageClass，它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性，比如存储类型、大小等；另外创建这种 PV 需要用到的存储插件，比如 Ceph 等。 有了这两部分信息，Kubernetes 就能够根据用户提交的 PVC，找到对应的 StorageClass，然后 Kubernetes 就会调用 StorageClass 声明的存储插件，自动创建需要的 PV 并进行绑定。

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。 

PV：K8S在指定的存储设备空间中逻辑划分创建出来的可持久化的存储资源对象

PVC：对PV存储资源对象的请求和绑定，也是Pod能够定义使用的一种存储卷类型

PV和PVC之间的相互作用遵循这个生命周期

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） ---> Recycling（回收）

●Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建

●Binding，将 PV 分配给 PVC

●Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection） 阻止删除正在使用的 PVC

●Releasing，Pod 释放 Volume 并删除 PVC

●Reclaiming，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除

 根据这 5 个阶段，PV 的状态有以下 4 种

●Available（可用）：表示可用状态，还未被任何 PVC 绑定

●Bound（已绑定）：表示 PV 已经绑定到 PVC

●Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收

●Failed（失败）：表示该 PV 的自动回收失败

 一个PV从创建到销毁的具体流程如下

1、一个PV创建完后状态会变成Available，等待被PVC绑定。

2、一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。

3、Pod使用完后会释放PV，PV的状态变成Released。

4、变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。Retain就是保留现场，K8S集群什么也不做，等待用户手动去处理PV里的数据，处理完后，再手动删除PV。Delete策略，K8S会自动删除该PV及里面的数据。Recycle方式，K8S会将PV里的数据删除，然后把PV的状态变成Available，又可以被新的PVC绑定使用。

 创建PV的方式

手动根据PV资源的配置模板静态的方式创建PV

根据PVC的配置模板通过引用StorageClass(简称SC)资源调用存储卷插件来动态的方式创建PV

 静态创建PV的步骤

1）准备好存储设备和共享目录

2）准备创建PV资源的配置文件，定义访问模式(ReadWriteOnce、ReadOnlyMany、ReadWriteMany、ReadWriteMany)、存储空间大小、回收策略（Retain、Recycle、Delete）、存储设备类型、storageClassName等

3）准备创建PVC资源的配置文件，定义访问模式(必要条件，必须是PV支持的访问模式)、存储空间大小(默认就近选择大于等于指定大小的PV)、storageClassName等来绑定PV

4）创建Pod资源挂载PVC存储卷，定义卷类型为persistentVolumeClaim，并在容器配置中定义存储卷挂载点路径

 动态创建PV的步骤

1）准备好存储设备和共享目录

2）如果是外置存储卷插件，需要先创建serviceaccount账户(Pod使用访问apiserver使用的账户)和RBAC授权(创建角色授予相关资源对象的操作权限，再将账户与角色绑定)，使得serviceaccount账户具有对PV、PVC、StorageClass等资源的操作权限

3）准备创建外置存储插件Pod资源的配置文件，定义serviceaccount账户作为Pod的用户，并设置相关的环境变量(比如存储插件名称等)

4）创建StorageClass资源，provisioner要设置为存储插件名称
以上操作是一劳永逸的，之后只需要创建PVC资源引用StorageClass就可以自动调用存储卷插件动态创建PV资源

5）准备创建PVC资源的配置文件，定义访问模式、存储空间大小、storageClassName设置为StorageClass资源名称等来动态创建PV资源并绑定PV

6）创建Pod资源挂载PVC存储卷，定义卷类型为persistentVolumeClaim，并在容器配置中定义存储卷挂载点路径

kubectl explain pv    #查看pv的定义方式FIELDS:apiVersion: v1kind: PersistentVolumemetadata:    #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace  name: speckubectl explain pv.spec    #查看pv定义的规格spec:  nfs:（定义存储类型）    path:（定义挂载卷路径）    server:（定义服务器名称）  accessModes:（定义访问模型，有以下三种访问模型，以列表的方式存在，也就是说可以定义多个访问模式）    - ReadWriteOnce          #（RWO）卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。- ReadOnlyMany           #（ROX）卷可以被多个节点以只读方式挂载。- ReadWriteMany          #（RWX）卷可以被多个节点以读写方式挂载。#nfs 支持全部三种；iSCSI 不支持 ReadWriteMany（iSCSI 就是在 IP 网络上运行 SCSI 协议的一种网络存储技术）；HostPath 不支持 ReadOnlyMany 和 ReadWriteMany。  capacity:（定义存储能力，一般用于设置存储空间）    storage: 2Gi （指定大小）  storageClassName: （自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV）  persistentVolumeReclaimPolicy: Retain    #回收策略（Retain/Delete/Recycle）#Retain（保留）：当用户删除与之绑定的PVC时候，这个PV被标记为released（PVC与PV解绑但还没有执行回收策略）且之前的数据依然保存在该PV上，但是该PV不可用，需要手动来处理这些数据并删除该PV。#Delete（删除）：删除与PV相连的后端存储资源。对于动态配置的PV来说，默认回收策略为Delete。表示当用户删除对应的PVC时，动态配置的volume将被自动删除。（只有 AWS EBS, GCE PD, Azure Disk 和 Cinder 支持）#Recycle（回收）：如果用户删除PVC，则删除卷上的数据，卷不会删除。（只有 NFS 和 HostPath 支持）kubectl explain pvc   #查看PVC的定义方式KIND:     PersistentVolumeClaimVERSION:  v1FIELDS:   apiVersion   kind     metadata   spec#PV和PVC中的spec关键字段要匹配，比如存储（storage）大小、访问模式（accessModes）、存储类名称（storageClassName）kubectl explain pvc.specspec:  accessModes: （定义访问模式，必须是PV的访问模式的子集）  resources:    requests:      storage: （定义申请资源的大小）  storageClassName: （定义存储类名称，此配置用于绑定具有相同类别的PVC和PV）

NFS使用PV和PVC

配置nfs存储

mkdir v{1,2,3,4,5}vim /etc/exports/data/volumes/v1 192.168.75.0/24(rw,no_root_squash)/data/volumes/v2 192.168.75.0/24(rw,no_root_squash)/data/volumes/v3 192.168.75.0/24(rw,no_root_squash)/data/volumes/v4 192.168.75.0/24(rw,no_root_squash)/data/volumes/v5 192.168.75.0/24(rw,no_root_squash)exportfs -arvshowmount -e

 

 定义PV

#这里定义5个PV，并且定义挂载的路径以及访问模式，还有PV划分的大小。vim pv-demo.yamlapiVersion: v1kind: PersistentVolumemetadata:  name: pv001  labels:    name: pv001spec:  nfs:    path: /data/volumes/v1    server: 192.168.75.40  accessModes: ["ReadWriteMany","ReadWriteOnce"]  capacity:    storage: 1Gi---apiVersion: v1kind: PersistentVolumemetadata:  name: pv002  labels:    name: pv002spec:  nfs:    path: /data/volumes/v2    server: 192.168.75.40  accessModes: ["ReadWriteOnce"]  capacity:    storage: 2Gi---apiVersion: v1kind: PersistentVolumemetadata:  name: pv003  labels:    name: pv003spec:  nfs:    path: /data/volumes/v3    server: 192.168.75.40  accessModes: ["ReadWriteMany","ReadWriteOnce"]  capacity:    storage: 2Gi---apiVersion: v1kind: PersistentVolumemetadata:  name: pv004  labels:    name: pv004spec:  nfs:    path: /data/volumes/v4    server: 192.168.75.40  accessModes: ["ReadWriteMany","ReadWriteOnce"]  capacity:    storage: 4Gi---apiVersion: v1kind: PersistentVolumemetadata:  name: pv005  labels:    name: pv005spec:  nfs:    path: /data/volumes/v5    server: 192.168.75.40  accessModes: ["ReadWriteMany","ReadWriteOnce"]  capacity:    storage: 5Gikubectl apply -f pv-demo.yamlkubectl get pv

 

定义PVC

#这里定义了pvc的访问模式为多路读写，该访问模式必须在前面pv定义的访问模式之中。定义PVC申请的大小为2Gi，此时PVC会自动去匹配多路读写且大小为2Gi的PV，匹配成功获取PVC的状态即为Boundvim pod-vol-pvc.yamlapiVersion: v1kind: PersistentVolumeClaimmetadata:  name: mypvc  namespace: defaultspec:  accessModes: ["ReadWriteMany"]  resources:    requests:      storage: 2Gi---apiVersion: v1kind: Podmetadata:  name: pod-vol-pvc  namespace: defaultspec:  containers:  - name: myapp    image: ikubernetes/myapp:v1    volumeMounts:    - name: html      mountPath: /usr/share/nginx/html  volumes:    - name: html      persistentVolumeClaim:        claimName: mypvckubectl apply -f pod-vol-pvc.yamlkubectl get pvkubectl get pvc

 

 测试访问

#在存储服务器上创建index.html，并写入数据，通过访问Pod进行查看，可以获取到相应的页面。cd /data/volumes/v3/echo "welcome to use pv3" > index.html#回到master上进行测试kubectl get pods -o widecurl 10.244.196.15

 

搭建 StorageClass + nfs-client-provisioner ，实现 NFS 的动态 PV 创建

Kubernetes 本身支持的动态 PV 创建不包括 NFS，所以需要使用外部存储卷插件分配PV。详见：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件称为 Provisioner（存储分配器），NFS 使用的是 nfs-client，这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。

Provisioner：用于指定 Volume 插件的类型，包括内置插件（如 kubernetes.io/aws-ebs）和外部插件（如 external-storage 提供的 ceph.com/cephfs）。

在192.168.75.40节点上安装nfs，并配置nfs服务

mkdir /opt/k8schmod 777 /opt/k8s/vim /etc/exports/opt/k8s 192.168.75.0/24(rw,no_root_squash,sync)systemctl restart nfs

创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

vim nfs-client-rbac.yaml#创建 Service Account 账户，用来管理 NFS Provisioner 在 k8s 集群中运行的权限apiVersion: v1kind: ServiceAccountmetadata:  name: nfs-client-provisioner---#创建集群角色apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata:  name: nfs-client-provisioner-clusterrolerules:  - apiGroups: [""]    resources: ["persistentvolumes"]    verbs: ["get", "list", "watch", "create", "delete"]  - apiGroups: [""]    resources: ["persistentvolumeclaims"]    verbs: ["get", "list", "watch", "update"]  - apiGroups: ["storage.k8s.io"]    resources: ["storageclasses"]    verbs: ["get", "list", "watch"]  - apiGroups: [""]    resources: ["events"]    verbs: ["list", "watch", "create", "update", "patch"]  - apiGroups: [""]    resources: ["endpoints"]    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]---#集群角色绑定apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: nfs-client-provisioner-clusterrolebindingsubjects:- kind: ServiceAccount  name: nfs-client-provisioner  namespace: defaultroleRef:  kind: ClusterRole  name: nfs-client-provisioner-clusterrole  apiGroup: rbac.authorization.k8s.iokubectl apply -f nfs-client-rbac.yaml

使用 Deployment 来创建 NFS Provisioner

NFS Provisioner(即 nfs-client)，有两个功能：一个是在 NFS 共享目录下创建挂载点(volume)，另一个则是将 PV 与 NFS 的挂载点建立关联。

#由于 1.20 版本启用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成pv会报错，解决方法如下：vim /etc/kubernetes/manifests/kube-apiserver.yamlspec:  containers:  - command:    - kube-apiserver    - --feature-gates=RemoveSelfLink=false       #添加这一行    - --advertise-address=192.168.80.20......kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yamlkubectl delete pods kube-apiserver -n kube-system kubectl get pods -n kube-system | grep apiserver

 

 

#创建 NFS Provisionervim nfs-client-provisioner.yamlkind: DeploymentapiVersion: apps/v1metadata:  name: nfs-client-provisionerspec:  replicas: 1  selector:    matchLabels:      app: nfs-client-provisioner  strategy:    type: Recreate  template:    metadata:      labels:        app: nfs-client-provisioner    spec:      serviceAccountName: nfs-client-provisioner     #指定Service Account账户      containers:        - name: nfs-client-provisioner          image: quay.io/external_storage/nfs-client-provisioner:latest          imagePullPolicy: IfNotPresent          volumeMounts:            - name: nfs-client-root              mountPath: /persistentvolumes          env:            - name: PROVISIONER_NAME              value: nfs-storage       #配置provisioner的Name，确保该名称与StorageClass资源中的provisioner名称保持一致            - name: NFS_SERVER              value: 192.168.75.40           #配置绑定的nfs服务器            - name: NFS_PATH              value: /opt/k8s          #配置绑定的nfs服务器目录      volumes:              #申明nfs数据卷        - name: nfs-client-root          nfs:            server: 192.168.75.40            path: /opt/k8skubectl apply -f nfs-client-provisioner.yaml kubectl get pod

 

创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

vim nfs-client-storageclass.yamlapiVersion: storage.k8s.io/v1kind: StorageClassmetadata:  name: nfs-client-storageclassprovisioner: nfs-storage     #这里的名称要和provisioner配置文件中的环境变量PROVISIONER_NAME保持一致parameters:  archiveOnDelete: "false"   #false表示在删除PVC时不会对数据目录进行打包存档，即删除数据；为ture时就会自动对数据目录进行打包存档，存档文件以archived开头    kubectl apply -f nfs-client-storageclass.yamlkubectl get storageclass

 

创建 PVC 和 Pod 测试

vim test-pvc-pod.yamlapiVersion: v1kind: PersistentVolumeClaimmetadata:  name: test-nfs-pvc  #annotations: volume.beta.kubernetes.io/storage-class: "nfs-client-storageclass"     #另一种SC配置方式spec:  accessModes:    - ReadWriteMany  storageClassName: nfs-client-storageclass    #关联StorageClass对象  resources:    requests:      storage: 1Gi---apiVersion: v1kind: Podmetadata:  name: test-storageclass-podspec:  containers:  - name: busybox    image: busybox:latest    imagePullPolicy: IfNotPresent    command:    - "/bin/sh"    - "-c"    args:    - "sleep 3600"    volumeMounts:    - name: nfs-pvc      mountPath: /mnt  restartPolicy: Never  volumes:  - name: nfs-pvc    persistentVolumeClaim:      claimName: test-nfs-pvc      #与PVC名称保持一致    kubectl apply -f test-pvc-pod.yaml

#PVC 通过 StorageClass 自动申请到空间kubectl get pvc

 

#查看 NFS 服务器上是否生成对应的目录，自动创建的 PV 会以 ${namespace}-${pvcName}-${pvName} 的目录格式放到 NFS 服务器上ls /opt/k8s/

 

#进入 Pod 在挂载目录 /mnt 下写一个文件，然后查看 NFS 服务器上是否存在该文件kubectl exec -it test-storageclass-pod sh/ # cd /mnt//mnt # echo 'this is test file' > test.txt

 

#发现 NFS 服务器上存在，说明验证成功cat /opt/k8s/test.txt