根据业务的需求，容器中的文件需要在磁盘上进行持久化。当容器被重建或者重新分配至新的节点时，可以继续使用这些持久化数据。
为了可以将数据持久化到存储设备上，您需要在发放容器时使用持久卷（PersistentVolume，PV）以及持久卷申领（PersistentVolumeClaim，PVC）。
本章将介绍如何使用华为CSI对PV/PVC进行创建、扩容、克隆以及从快照创建PVC。
华为CSI支持在华为存储上创建存储资源（LUN/文件系统），并根据用户的设置供给容器使用。具体支持的特性请参考表 华为企业存储支持的特性及约束或者表 华为分布式存储支持的特性及约束。
创建PVC的方式分为动态卷供应和静态卷供应。
动态卷供应（Dynamic Volume Provisioning）允许按需创建存储卷。动态卷供应依赖StorageClass对象。 集群管理员可以根据需要定义多个StorageClass对象，在声明PV或者PVC时，指定满足业务要求的StorageClass。华为CSI在从华为存储设备上申请资源时，会根据StorageClass的预置定义，创建满足业务要求的存储资源。
为了完成动态卷供应，需要完成如下两步：
根据业务需要，参考动态卷供应典型场景StorageClass配置示例和动态卷供应StorageClass参数说明，创建StorageClass配置文件，如本例从的mysc.yaml文件。
执行命令，使用配置文件创建StorageClass。
kubectl apply -f mysc.yaml
执行命令，查看已创建的StorageClass信息。
kubectl get sc mysc
命令结果示例如下：
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
mysc csi.huawei.com Delete Immediate true 8s
根据业务需要，参考本节描述和PVC配置文件示例，修改具体参数，生成本次需要创建的PVC配置文件，如本例中mypvc.yaml文件。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mypvc
spec:
accessModes:
- ReadWriteOnce
volumeMode: Filesystem
storageClassName: mysc
resources:
requests:
storage: 100Gi
执行命令，使用配置文件创建PVC。
kubectl create -f mypvc.yaml
等待一段时间后，执行以下命令，查看已经创建的PVC信息。
kubectl get pvc mypvc
命令结果示例如下，如果PVC的状态是“Bound”时，则说明该PVC已经创建成功，后续可以被Pod使用。
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mypvc Bound pvc-840054d3-1d5b-4153-b73f-826f980abf9e 100Gi RWO mysc 12s
- 完成创建PVC操作后，如果长时间后（如一分钟后）PVC的状态是Pending，请参考创建PVC时， PVC的状态为Pending。
- 建议每批次最多批量创建/删除100个PVC。
在完成PVC创建后，就可以使用PVC来创建Pod。如下示例是一个简单的使用PVC示例，在该示例中，创建的Pod使用了刚刚创建的 mypvc。
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx:alpine
name: container-0
volumeMounts:
- mountPath: /tmp
name: pvc-mypvc
restartPolicy: Always
volumes:
- name: pvc-mypvc
persistentVolumeClaim:
claimName: mypvc # name of PVC
存储类（StorageClass）为管理员提供了描述存储 “类” 的方法。 不同的类型可能会映射到一组不同的能力定义。Kubernetes集群用户可基于StorageClass进行动态卷制备。
使用SAN存储时可参考示例文件/examples/sc-lun.yaml，使用NAS存储时可参考示例文件/examples/sc-fs.yaml。
典型场景下StorageClass配置请参考如下示例：
如果在一个Kubernetes集群中配置了多个华为后端，或者一个华为后端提供多个存储池，建议在StorageClass中配置指定的后端和存储池信息，避免华为CSI随机选择后端和存储池，导致卷所在的存储不符合规划。
SAN存储设置后端和存储池可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
backend: "san-181" # 存储后端名称
pool: "pool001" # 存储池名称
volumeType: lun
allocType: thin
NAS存储设置后端和存储池可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
backend: "san-181" # 存储后端名称
pool: "pool001" # 存储池名称
volumeType: fs
allocType: thin
authClient: "*"
容器使用NFS文件系统作为存储资源时，可以参考如下配置示例。该示例中，NFS挂载时指定版本为4.1。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-nas-181
pool: pool001
volumeType: fs
allocType: thin
authClient: "192.168.0.10;192.168.0.0/24;myserver1.test"
mountOptions:
- nfsvers=4.1 # NFS挂载时指定版本为4.1
容器使用Dtree作为存储资源时，可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-dtree
volumeType: dtree # 卷类型配置为 dtree
allocType: thin
authClient: "*"
mountOptions:
- nfsvers=4.1
容器使用企业存储或者分布式存储的LUN作为存储资源时，且需要格式化文件系统为本地文件系统时，可以参考如下示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: iscsi-lun-181
pool: pool001
volumeType: lun
allocType: thin
fsType: xfs
当容器使用OceanStor Pacific系列存储，且存储支持DPC协议访问时，可以在StorageClass中配置DPC访问的挂载参数。本例中设置挂载时使用“acl”做鉴权参数，使用“cnflush”为设置异步刷盘模式。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-dpc-101
pool: pool001
volumeType: fs
allocType: thin
authClient: "*"
mountOptions:
- acl # 鉴权参数
- cnflush # 设置异步刷盘模式
当容器使用OceanStor Dorado存储的LUN作为存储时，如果使用存储默认的应用类型无法满足某些业务的I/O模型要求（如容器对外提供数据库OLAP服务），可以在StorageClass中配置应用类型，提升存储性能。具体需要使用的应用类型请参考对应存储产品的产品文档说明。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: iscsi-lun-181
pool: pool001
volumeType: lun
allocType: thin
fsType: xfs
applicationType: Oracle_OLAP # 配置应用类型
当容器使用OceanStor Pacific系列存储的文件系统作为存储时，可以在StorageClass中配置软配额信息，可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-pacific-101
pool: pool001
volumeType: fs
allocType: thin
authClient: "*"
storageQuota: '{"spaceQuota": "softQuota", "gracePeriod": 100}' # 配置软配额
mountOptions:
- nfsvers=3
容器使用企业存储或者分布式存储作为存储资源时，可以为容器使用的存储资源设置QoS，从而保证这些容器对存储读写满足一定的服务等级。
不同型号或版本的存储支持的QoS设置不同，请参考表 支持的QoS配置找到对应存储的配置项。本示例中的后端是OceanStor Dorado存储，其他存储可以参考本例设置。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: iscsi-qos-181
pool: pool001
volumeType: lun
allocType: thin
fsType: xfs
qos: '{"IOTYPE": 2, "MINIOPS": 1000}' # 配置QoS
- OceanStor V5 租户用户不支持配置QoS策略。
- 配置QoS后只能在新建的PVC上生效；对于同名StorageClass已经发放的PVC，不能自动添加QoS
容器使用NFS双活文件系统作为存储资源时，可以参考如下配置示例。该示例中，使用的后端是支持双活的后端，且配置“hyperMetro”参数为“true”。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-hypermetro-dorado-181
pool: pool001
volumeType: fs
hyperMetro: "true" # 发放双活卷
allocType: thin
authClient: "*"
- 发放NAS双活卷前，需要在两台存储设备之间配置双活关系，包含远端设备、双活域等，仅支持文件系统双活域工作模式为双活AA模式，配置操作请参考对应存储型号的产品文档。
- 若存储发生故障，逻辑管理端口可能产生漂移，在漂移状态下删除NAS双活卷后，需手动清理对应的存储资源。
当需要修改容器内挂载目录的权限时，可以在StorageClass中配置目录权限信息，可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
volumeType: fs
allocType: thin
authClient: "*"
fsPermission: "777"
rootSquash: "no_root_squash" # 该参数仅支持NAS存储
allSquash: "no_all_squash" # 该参数仅支持NAS存储
完成StorageClass配置后，进行如下步骤创建StorageClass。
执行以下命令，基于该yaml文件创建StorageClass。
kubectl create -f mysc.yaml
执行以下命令，查看当前已经创建的StorageClass信息。
kubectl get sc
命令结果示例如下。
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
mysc csi.huawei.com Delete Immediate false 34s
创建StorageClass后，就可以使用该StorageClass进行创建PV或者PVC。
在StorageClass的使用中请注意如下事项：
- 针对StorageClass进行的修改将不会在已经创建的PV上生效。您需要删除这些PV，并重新使用修改后的StorageClass创建才能应用修改的参数。
在CCE / CCE Agile平台中创建NAS类型StorageClass，可以参考如下配置示例。其中provisioner保持和values.yaml文件中driverName一致。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
annotations:
storageclass.kubernetes.io/storageType: file
provisioner: csi.oceanstor.com
allowVolumeExpansion: true
parameters:
volumeType: fs
allocType: thin
authClient: "*"
在CCE / CCE Agile平台中创建Block类型StorageClass，可以参考如下配置示例。其中provisioner保持和values.yaml文件中driverName一致。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
annotations:
storageclass.kubernetes.io/storageType: block
provisioner: csi.oceanstor.com
allowVolumeExpansion: true
parameters:
volumeType: lun
allocType: thin
表 1 StorageClass配置参数说明
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
|
| |||
如果不设置，华为CSI会在所选后端上随机选择一个满足容量要求的存储池创建资源。建议指定存储池，确保创建的资源在预期的存储池上。 | ||||
|
| |||
| ||||
| 仅当StorageClass的volumeType设置为“lun”，且PVC的volumeMode配置为“Filesystem”时生效。 | |||
可以使用“*”表示任意客户端。当您不确定访问客户端IP信息时，建议使用“*”防止客户端访问被存储拒绝。 可以同时输入多个主机名称、IP地址或IP地址段，以英文分号，空格或按回车键隔开。如示例："192.168.0.10;192.168.0.0/24;myserver1.test" | ||||
| ||||
配置项值是字典格式的JSON字符串（字符串两边由单引号修饰，字典key由双引号修饰）。如：'{"maxMBPS": 999, "maxIOPS": 999}' | 支持的QoS配置请参考表2说明。 | |||
PV在存储侧配额设置。仅在对接OceanStor Pacific系列存储使用NAS时生效。 配置项值是字典格式的JSON字符串（字符串两边由单引号修饰，字典key由双引号修饰）。如：'{"spaceQuota": "softQuota", "gracePeriod": 100}' | 支持的配额配置请参考表3说明。 | |||
| 当使用的后端是双活类型的后端，且需要发放双活卷时，设置该参数为"true"，若设置为"false"，在后端对接的逻辑管理端口漂移的场景下，有业务中断的风险。 | |||
|
| |||
配置格式参考Linux权限设置，如“777”、“755”等。 支持所有的SAN存储，NAS存储仅支持OceanStor Dorado 、OceanStor、OceanStor Pacific 8.1.2及之后版本的存储设备。 | ||||
| ||||
| ||||
| ||||
| ||||
| ||||
| ||||
指定NFS版本挂载时，当前支持NFS 3/4.0/4.1/4.2协议（需存储设备支持且开启）。当配置参数为nfsvers=4时，因为操作系统配置的不同，实际挂载可能为NFS 4的最高版本协议，如4.2，当需要使用4.0协议时，建议配置nfsvers=4.0。 | ||||
acl、aclonlyposix、cnflush、cflush参数描述仅供参考，详细参数说明请参考《OceanStor Pacific系列 产品文档》 > 配置 > 文件服务基础业务配置指南 > 配置基础业务（DPC场景） > 客户端访问DPC共享 > 步骤2。 | ||||
DPC命名空间支持POSIX ACL功能，DPC客户端支持POSIX ACL的鉴权行为。 支持POSIX ACL的协议有：DPC、NFSv3、HDFS。如使用NFSv4 ACL或NT ACL，会导致DPC客户端无法识别该类型的ACL，从而导致该类型的ACL不会生效。 | ||||
异步刷盘模式，当文件关闭时不会同步将Cache的数据持久化到存储介质中，而是通过Cache异步刷盘的方式将数据写入存储介质，Cache的后台刷盘将在写业务完成后根据刷盘周期定时刷盘。在多客户端场景下，对同一文件进行并行操作，文件Size的更新会受刷盘周期的影响，即当刷盘动作完成后才会更新文件的Size，更新通常会在数秒内完成。同步I/O不受刷盘周期影响。 | ||||
| ||||
| ||||
表 2 支持的QoS配置
表 3 支持的配额配置
在完成配置StorageClass以后，就可以用该StorageClass来配置PVC。PVC的配置模板请参考华为CSI软件包中的examples目录下的pvc*.yaml文件示例。
表 1 pvc*.yaml文件示例参数说明
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
卷模式。可选参数。 当使用LUN类型的卷时，支持配置以下类型：
|
| |||
PVC容量的规格取决于存储规格限制和主机规格限制。以OceanStor Dorado 6.1.2/OceanStor Pacific系列 8.1.0对接CentOS 7为例，当使用的是ext4文件系统时，容量限制见表 ext4容量的规格；当使用的是XFS文件系统时，容量限制见表 XFS容量的规格。如果使用的是NFS或者裸设备，容量需满足使用的华为存储设备型号和版本所要求的规格约束。 | ||||
|
|
表 2 ext4容量的规格
表 3 XFS容量的规格
纳管卷供应（Manage Volume Provisioning）允许管理员使用已经在存储侧创建的资源做为PV，并能够支持动态卷的特性，例如：扩容，快照，克隆等，属于华为CSI自定义能力。使用该特性可满足如下场景：
在多Kubernetes集群场景下，使用纳管卷特性对同一存储资源进行管理时，在任一集群中对该资源对应的PVC进行管理操作后，不会同步到其他集群中。 例如：在某一集群中对PVC进行扩容时，其他集群对应的PVC不会自动扩容，需要在其他集群中手动根据扩容PVC中的扩容命令进行扩容。
根据业务需要，参考动态卷供应典型场景StorageClass配置示例和动态卷供应StorageClass参数说明，创建StorageClass配置文件，如本例从的mysc.yaml文件。
执行命令，使用配置文件创建StorageClass。
kubectl apply -f mysc.yaml
执行命令，查看已创建的StorageClass信息。
kubectl get sc mysc
命令结果示例如下：
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
mysc csi.huawei.com Delete Immediate true 8s
根据业务需要，参考本节描述和PVC配置文件示例，修改具体参数，生成本次需要创建的PVC配置文件，如本例中mypvc.yaml文件。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mypvc
annotations:
csi.huawei.com/manageVolumeName: "*" # 存储资源名称
csi.huawei.com/manageBackendName: "*" # 存储后端名称
labels:
provisioner: csi.huawei.com
spec:
accessModes:
- ReadWriteOnce
volumeMode: Filesystem
storageClassName: mysc
resources:
requests:
storage: 100Gi
执行命令，使用配置文件创建PVC。
kubectl create -f mypvc.yaml
等待一段时间后，执行以下命令，查看已经创建的PVC信息。
kubectl get pvc mypvc
命令结果示例如下。如果PVC的状态是“Bound”时，则说明该PVC已经创建成功，后续可以被Pod使用。
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mypvc Bound pvc-840054d3-1d5b-4153-b73f-826f980abf9e 100Gi RWO mysc 12s
- 完成创建PVC操作后，如果长时间后（如一分钟后）PVC的状态是Pending，请参考创建PVC时， PVC的状态为Pending。
- 建议每批次最多批量创建/删除100个PVC。
与动态卷供应使用PVC方式相同。
纳管卷供应典型场景下StorageClass配置请参考如下示例：
如果在一个Kubernetes集群中配置了多个华为后端，或者一个华为后端提供多个存储池，建议在StorageClass中配置指定的后端和存储池信息，避免华为CSI随机选择后端和存储池，导致卷所在的存储不符合规划。
SAN存储设置后端和存储池可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
backend: "iscsi-san-181"
pool: "pool001"
volumeType: lun
allocType: thin
NAS存储设置后端和存储池可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
backend: "iscsi-nas-181"
pool: "pool001"
volumeType: fs
allocType: thin
authClient: "*"
容器使用NFS文件系统作为存储资源时，可以参考如下配置示例。该示例中，NFS挂载时指定版本为4.1。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-nas-181
pool: pool001
volumeType: fs
allocType: thin
mountOptions:
- nfsvers=4.1 # NFS挂载时指定版本为4.1
容器使用企业存储或者分布式存储的LUN作为存储资源时，且需要格式化文件系统为本地文件系统时，可以参考如下示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: iscsi-lun-181
pool: pool001
volumeType: lun
allocType: thin
fsType: xfs
当容器使用OceanStor Pacific系列存储，且存储支持DPC协议访问时，可以在StorageClass中配置DPC访问的挂载参数。本例中设置挂载时使用“acl”做鉴权参数，使用“cnflush”为设置异步刷盘模式。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
parameters:
backend: nfs-dpc-101
pool: pool001
volumeType: fs
allocType: thin
authClient: "*"
mountOptions:
- acl # 鉴权参数
- cnflush # 设置异步刷盘模式
当需要修改容器内挂载目录的权限时，可以在StorageClass中配置目录权限信息，可以参考如下配置示例。
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
volumeType: fs
allocType: thin
authClient: "*"
fsPermission: "777" # 设置目录权限
完成StorageClass配置后，进行如下步骤创建StorageClass。
执行以下命令，基于该yaml文件创建StorageClass。
kubectl create -f mysc.yaml
执行以下命令，查看当前已经创建的StorageClass信息。
kubectl get sc
命令结果示例如下。
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
mysc csi.huawei.com Delete Immediate false 34s
创建StorageClass后，就可以使用该StorageClass进行创建PV或者PVC。
在纳管卷供应场景下，StorageClass的使用中请注意如下事项：
- 针对StorageClass进行的修改将不会在已经创建的PV上生效。您需要删除这些PV，并重新使用修改后的StorageClass创建才能应用修改的参数。
存储类（StorageClass）为管理员提供了描述存储 “类” 的方法。 不同的类型可能会映射到一组不同的能力定义。Kubernetes集群用户可基于StorageClass进行动态卷制备。
StorageClass支持配置如下参数信息。
使用SAN存储时可参考示例文件/examples/sc-lun.yaml，使用NAS存储时可参考示例文件/examples/sc-fs.yaml。
表 1 StorageClass配置参数说明
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
|
| |||
|
| |||
| 仅当StorageClass的volumeType设置为“lun”，且PVC的volumeMode配置为“Filesystem”时生效。 | |||
| ||||
指定NFS版本挂载时，当前支持NFS 3/4.0/4.1/4.2协议（需存储设备支持且开启）。当配置参数为nfsvers=4时，因为操作系统配置的不同，实际挂载可能为NFS 4的最高版本协议，如4.2，当需要使用4.0协议时，建议配置nfsver:ws=4.0。 | ||||
acl、aclonlyposix、cnflush、cflush参数描述仅供参考，详细参数说明请参考《OceanStor Pacific系列 产品文档》 > 配置 > 文件服务基础业务配置指南 > 配置基础业务（DPC场景） > 客户端访问DPC共享 > 步骤2。 | ||||
DPC命名空间支持POSIX ACL功能，DPC客户端支持POSIX ACL的鉴权行为。 支持POSIX ACL的协议有：DPC、NFSv3、HDFS。如使用NFSv4 ACL或NT ACL，会导致DPC客户端无法识别该类型的ACL，从而导致该类型的ACL不会生效。 | ||||
异步刷盘模式，当文件关闭时不会同步将Cache的数据持久化到存储介质中，而是通过Cache异步刷盘的方式将数据写入存储介质，Cache的后台刷盘将在写业务完成后根据刷盘周期定时刷盘。在多客户端场景下，对同一文件进行并行操作，文件Size的更新会受刷盘周期的影响，即当刷盘动作完成后才会更新文件的Size，更新通常会在数秒内完成。同步I/O不受刷盘周期影响。 | ||||
| ||||
| ||||
在完成配置StorageClass以后，就可以用该StorageClass来配置PVC。PVC的配置模板请参考华为CSI软件包中的examples目录下的pvc-manager.yaml文件示例。
表 1 pvc-manager.yaml文件示例参数说明
| csi.huawei.com/manageVolumeName: * csi.huawei.com/manageBackendName: * |
| ||
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
卷模式。可选参数。 当使用LUN类型的卷时，支持配置以下类型：
|
| |||
PVC容量的规格取决于存储规格限制和主机规格限制。以OceanStor Dorado 6.1.2/OceanStor Pacific系列 8.1.0对接CentOS 7为例，当使用的是ext4文件系统时，容量限制见表2；当使用的是XFS文件系统时，容量限制见表3。如果使用的是NFS或者裸设备，容量需满足使用的华为存储设备型号和版本所要求的规格约束。 | ||||
|
|
表 2 ext4容量的规格
表 3 XFS容量的规格
静态卷供应（Static Volume Provisioning）允许管理员使用已经在存储侧创建的资源做为PV，供集群中的容器使用。
为了完成静态卷供应，需要完成如下两步：
存储侧已经存在待创建PV所需要的存储资源，如LUN或者文件系统。如果存储资源是文件系统，还需要创建文件系统的共享和客户端信息。
准备PV配置文件mypv.yaml，示例如下，其他配置参数请参考静态卷供应PV参数说明。
kind: PersistentVolume
apiVersion: v1
metadata:
name: mypv
spec:
volumeMode: Filesystem
storageClassName: "" # 必须配置为""
accessModes:
- ReadWriteOnce
csi:
driver: csi.huawei.com # csi驱动名称
volumeHandle: iscsi-dorado-181.lun0001 # 卷名称
fsType: xfs # 文件系统类型
capacity:
storage: 100Gi
执行以下命令，基于准备好的yaml文件创建PV。
kubectl create -f mypv.yaml
等待一段时间后，执行以下命令，查看已经创建的PV信息。
kubectl get pv
命令结果示例如下，当PV状态为“Available”时，表明PV创建成功。
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
mypv 100Gi RWO Retain Available 4s
当PV以静态卷供应的方式创建完成后，可以基于该PV创建PVC，从而供容器使用。
首先准备PVC配置文件。如下示例是一个使用静态卷供应的PVC配置文件。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: mypvc
spec:
storageClassName: ""
accessModes:
- ReadWriteOnce
volumeMode: Filesystem
resources:
requests:
storage: 100Gi
volumeName: mypv # 对应PV名称
执行以下命令，基于已配置的yaml文件创建PVC。
kubectl create -f mypvc.yaml
等待一段时间后，执行以下命令，查看已经创建的PVC信息。
kubectl get pvc
命令结果示例如下，当PVC状态为“Bound“时，表明PVC创建成功。
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mypvc Bound pvc-840054d3-1d5b-4153-b73f-826f980abf9e 100Gi RWO 12s
- 完成创建PVC操作后，如果长时间后（如一分钟后）PVC的状态是Pending，请参考创建PVC时， PVC的状态为Pending。
- 建议每批次最多批量创建/删除100个PVC。
与动态卷供应使用PVC方式相同。
表 1 静态卷供应参数
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
卷模式。可选参数。 当使用LUN类型的卷时，支持配置以下类型：
|
| |||
|
| |||
| ||||
请确保与存储上对应资源的容量保持一致。Kubernetes并不会调用CSI检查此字段值的正确性，所以在PV容量与存储上对应资源的容量不一致也能被成功创建。 | ||||
指定NFS版本挂载时，当前支持NFS 3/4.0/4.1/4.2协议（需存储设备支持且开启）。当配置参数为nfsvers=4时，因为操作系统配置的不同，实际挂载可能为NFS 4的最高版本协议，如4.2，当需要使用4.0协议时，建议配置nfsvers=4.0。 | ||||
acl、aclonlyposix、cnflush、cflush参数描述仅供参考，详细参数说明请参考《OceanStor Pacific系列 产品文档》 > 配置 > 文件服务基础业务配置指南 > 配置基础业务（DPC场景） > 客户端访问DPC共享 > 步骤2。 | ||||
DPC命名空间支持POSIX ACL功能，DPC客户端支持POSIX ACL的鉴权行为。 支持POSIX ACL的协议有：DPC、NFSv3、HDFS。如使用NFSv4 ACL或NT ACL，会导致DPC客户端无法识别该类型的ACL，从而导致该类型的ACL不会生效。 | ||||
异步刷盘模式，当文件关闭时不会同步将Cache的数据持久化到存储介质中，而是通过Cache异步刷盘的方式将数据写入存储介质，Cache的后台刷盘将在写业务完成后根据刷盘周期定时刷盘。在多客户端场景下，对同一文件进行并行操作，文件Size的更新会受刷盘周期的影响，即当刷盘动作完成后才会更新文件的Size，更新通常会在数秒内完成。同步I/O不受刷盘周期影响。 | ||||
表 1 PVC参数说明
以Kubernetes v1.22.1为例，支持数字、小写字母、中划线（-）和点（.）的组合，并且必须以字母数字开头和结尾。 | ||||
|
| |||
可选， 支持Filesystem或Block， 默认为Filesystem。该参数在创建Pod时生效，其中Filesystem表示在PVC上创建一个文件系统访问存储， Block表示使用裸卷的方式访问存储。 | ||||
PVC容量的规格取决于存储规格限制和主机规格限制。以OceanStor Dorado 6.1.2/OceanStor Pacific系列 8.1.0对接CentOS 7为例，当使用的是ext4文件系统时，容量限制见表 ext4容量的规格；当使用的是XFS文件系统时，容量限制见表 XFS容量的规格。如果使用的是NFS或者裸设备，容量需满足使用的华为存储设备型号和版本所要求的规格约束。 如果PVC容量不在规格范围内，可能会由于存储规格限制或主机文件系统规格限制导致创建PVC或Pod失败。 在通过静态PV创建PVC时，若PVC容量小于绑定PV容量，最终PVC容量大小为绑定PV容量，若PVC容量大于绑定PV容量，PVC将无法被创建。 | ||||
当容器使用的PVC容量不足时，需要对该PVC进行扩容操作。
PVC已创建，所在的backend存在且支持扩容。
支持扩容的存储请参考表 华为企业存储支持的特性及约束和表 华为分布式存储支持的特性及约束，支持扩容的Kubernetes版本请参考Kubernetes特性矩阵。
huawei-csi-controller启用了csi-resizer服务。
kubectl describe deploy huawei-csi-controller -n huawei-csi | grep csi-resizer
命令回显示例如下则说明已启用csi-resizer服务。
csi-resizer:
Image: k8s.gcr.io/sig-storage/csi-resizer:v1.4.0
执行命令，查询StorageClass是否支持扩容。其中，mysc 为需要查看的StorageClass名称。
kubectl get sc mysc
命令结果示例如下：
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
mysc csi.huawei.com Delete Immediate true 172m
如果ALLOWVOLUMEEXPANSION的值为true，表示当前StorageClass已经支持扩容，请跳转至步骤3。
执行以下命令，将“allowVolumeExpansion“的值修改为“true“。其中，mysc 为需要修改的StorageClass名称。
kubectl patch sc mysc --patch '{"allowVolumeExpansion":true}'
执行命令，查询PVC的StorageClass名称。其中，mypvc 为需要扩容的PVC名称。
kubectl get pvc mypvc
命令结果示例如下：
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mypvc Bound pvc-3383be36-537c-4cb1-8f32-a415fa6ba384 2Gi RW0 mysc 145m
执行以下命令进行扩容。
kubectl patch pvc mypvc -p '{"spec":{"resources":{"requests":{"storage":"120Gi"}}}}'
其中，"mypvc“是需要扩容的PVC名称，“120Gi”是扩容后的容量大小。请根据实际情况进行替换。
- PVC容量的规格取决于存储规格限制和主机规格限制。以OceanStor Dorado 6.1.2/OceanStor Pacific系列 8.1.0对接CentOS 7为例，当使用的是ext4文件系统时，容量限制见表 ext4容量的规格；当使用的是XFS文件系统时，容量限制见表 XFS容量的规格。如果使用的是NFS或者裸设备，容量需满足使用的华为存储设备型号和版本所要求的规格约束。
- 如果PVC容量不在规格范围内，可能会由于存储规格限制或主机文件系统规格限制导致创建PVC或Pod失败。
- 如果扩容的目标容量超过存储池容量导致扩容失败，请参考PVC扩容的目标容量超过存储池容量导致扩容失败。
执行命令，检查容量修改是否生效。
kubectl get pvc
命令结果示例如下，如果CAPACITY字段已变更为指定容量，说明扩容成功。
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mypvc Bound pvc-3383be36-537c-4cb1-8f32-a415fa6ba384 120Gi RWO mysc 24s
本章节描述如何克隆PVC。
在克隆PVC时，需要指定数据源。如下示例是一个简单的克隆PVC示例，在该示例中，使用“mypvc”作为数据源，新创建了一个名叫“myclone”的PVC。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: myclone
spec:
storageClassName: mysc
dataSource:
name: mypvc
kind: PersistentVolumeClaim
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
- 指定的storageClassName必须和dataSource中的源卷的StorageClass需一致。
- 克隆卷的容量必须不小于源卷容量，建议和源卷容量保持一致。
系统中已经存在源PVC，且源PVC所在的backend存在支持克隆。支持克隆的存储请参考表 华为企业存储支持的特性及约束和表 华为分布式存储支持的特性及约束，支持克隆的Kubernetes版本请参考Kubernetes特性矩阵。
执行以下命令，基于克隆卷的配置文件创建PVC。
kubectl create -f myclone.yaml
本章节描述如何从快照创建PVC。
在创建这个PVC时，需要指定数据源。如下示例是一个简单的从快照创建PVC示例，在该示例中，使用快照“mysnapshot”作为数据源，新创建了一个名叫“myrestore”的PVC。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: myrestore
spec:
storageClassName: mysc
dataSource:
name: mysnapshot
kind: VolumeSnapshot
apiGroup: snapshot.storage.k8s.io
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
- 指定的storageClassName必须和dataSource中的快照源卷的StorageClass需一致。
- 克隆卷的容量必须不小于快照容量，建议和快照容量保持一致。
系统中已经存在快照，且快照所在的backend存在支持克隆。支持快照创建PVC的存储请参考表 华为企业存储支持的特性及约束和表 华为分布式存储支持的特性及约束，支持快照创建PVC的Kubernetes版本请参考Kubernetes特性矩阵。
执行以下命令，基于从快照创建卷的配置文件创建PVC。
kubectl create -f myrestore.yaml