这是本节的多页打印视图。点击此处打印.

使用Helm安装华为CSI

1: Kubernetes、OpenShift、Tanzu安装华为CSI
2: CCE和CCE Agile平台安装华为CSI
3: Helm values.yaml参数说明

Helm安装说明

本章节介绍如何使用Helm 3安装部署华为CSI。

华为CSI的安装支持root用户和非root用户。使用非root用户安装华为CSI时，需要保证当前用户能够访问Kubernetes集群的API Server，配置非root用户访问Kubernetes集群请参考配置非root用户访问Kubernetes集群。
华为CSI必须在root用户权限下运行。

Helm是Kubernetes生态系统中的一个软件包管理工具，类似Ubuntu的APT、CentOS的YUM、或Python的pip一样，专门负责管理Kubernetes的应用资源。

使用Helm可以对Kubernetes应用进行统一打包、分发、安装、升级以及回退等操作。

Helm的获取、安装请参考：https://helm.sh/docs/intro/install/
Helm与Kubernetes版本对应关系请参考：https://helm.sh/docs/topics/version_skew/

Helm在安装huawei-csi-controller时，将在指定命名空间的Deployment类型的工作负载中部署以下组件：

huawei-csi-driver：华为CSI驱动。
storage-backend-controller：华为后端管理控制器，管理storageBackendClaim资源。
storage-backend-sidecar：用于管理storageBackendContent资源。
Kubernetes External Provisioner：用于提供/删除卷。
Kubernetes External Attacher：用于挂载/解挂载卷。
Kubernetes External Resizer：用于扩容卷。
Kubernetes External liveness-probe：用来判断Pod健康状态。
（可选）huawei-csi-extender：华为CSI扩展。
（可选）Kubernetes External Snapshotter：提供快照支持（作为CRD安装）。
（可选）Kubernetes External Snapshot Controller ：用于卷快照控制。

Helm在安装huawei-csi-node时，将在指定命名空间的DaemonSet类型的工作负载中部署以下组件：

huawei-csi-driver：华为CSI驱动。
Kubernetes Node Registrar：处理驱动程序注册。
liveness-probe: 用来判断Pod健康状态。

1 - Kubernetes、OpenShift、Tanzu安装华为CSI

安装步骤

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录集群的任意master节点。
将Kubernetes CSI组件包中的"helm"目录拷贝到master节点的任意目录下。Helm工具路径请参见表软件包组件描述。
进入到helm/esdk的工作目录下。
```
cd helm/esdk
```
准备values.yaml文件，华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件，您也可以根据Helm values.yaml参数说明修改参数对华为CSI进行定制。
安装前配置：
- 若容器平台为Kubernetes，可跳过该步骤。
- 若容器平台为Openshift，请根据OpenShift平台安装配置进行配置。
- 若容器平台为Tanzu，请根据Tanzu平台安装配置进行配置。
执行命令，更新存储后端CRD
```
kubectl apply -f ./crds/backend/
```
（可选） 请务必按照检查卷快照依赖组件章节检查快照依赖组件，确认无误后执行执行命令更新快照CRD，如果controller.snapshot.enabled参数设置为false或Kubernetes版本低于v1.17，可跳过本步骤，详情请参考表 controller配置项说明。
```
kubectl apply -f ./crds/snapshot-crds/ --validate=false
```
执行如下命令安装华为CSI。其中，helm-huawei-csi为自定义的Helm Chart名称，./表示使用当前目录下的Helm工程，huawei-csi为自定义的Helm Chart命名空间。
```
helm install helm-huawei-csi ./ -n huawei-csi --create-namespace
```
命令执行结果如下：
```
NAME: helm-huawei-csi
LAST DEPLOYED: Wed Jun  8 11:50:28 2022
NAMESPACE: huawei-csi
STATUS: deployed
REVISION: 1
TEST SUITE: None
```

完成huawei-csi服务部署后，可执行如下命令检查服务是否启动：

kubectl get pod -n huawei-csi

命令结果示例如下，Pod状态为“Running“则安装成功。

NAME                                     READY   STATUS    RESTARTS   AGE
huawei-csi-controller-6dfcc4b79f-9vjtq   9/9     Running   0          24m
huawei-csi-controller-6dfcc4b79f-csphc   9/9     Running   0          24m
huawei-csi-node-g6f4k                    3/3     Running   0          20m
huawei-csi-node-tqs87                    3/3     Running   0          20m

OpenShift平台安装配置

OpenShift平台请根据以下命令创建SecurityContextConstraints资源。

执行命令，编辑helm_scc.yaml文件。
```
vi helm_scc.yaml
```

修改helm_scc.yaml文件。其中，下列回显中huawei-csi是指创建的命名空间，请根据实际情况填写。

apiVersion: security.openshift.io/v1
kind: SecurityContextConstraints
metadata:
  name: helm-scc
allowHostDirVolumePlugin: true
allowHostIPC: true
allowHostNetwork: true
allowHostPID: true
allowHostPorts: true
allowPrivilegeEscalation: true
allowPrivilegedContainer: true

defaultAddCapabilities:
- SYS_ADMIN
runAsUser:
  type: RunAsAny
seLinuxContext:
  type: RunAsAny
fsGroup:
  type: RunAsAny
users:
- system:serviceaccount:huawei-csi:huawei-csi-controller
- system:serviceaccount:huawei-csi:huawei-csi-node

执行命令，创建SecurityContextConstraints。
```
oc create -f helm_scc.yaml
```

Tanzu平台安装配置

Tanzu平台请执行以下命令配置kubelet安装目录。

进入到安装包的helm/esdk目录下，执行命令打开配置文件，修改后保存。安装包目录请参见表软件包组件描述。
```
vi values.yaml
```

修改kubeletConfigDir参数如下：

# Specify kubelet config dir path.
# kubernetes and openshift is usually /var/lib/kubelet
# Tanzu is usually /var/vcap/data/kubelet
# CCE is usually /mnt/paas/kubernetes/kubelet
kubeletConfigDir: /var/vcap/data/kubelet

Tanzu平台TKGI 1.16版本及以下请执行以下命令配置RBAC权限

执行命令，创建rbac.yaml文件。
```
vi rbac.yaml
```

粘贴如下内容至rbac.yaml，保存并退出：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: huawei-csi-psp-role
rules:
- apiGroups: ['policy']
  resources: ['podsecuritypolicies']
  verbs: ['use']
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: huawei-csi-psp-role-cfg
roleRef:
  kind: ClusterRole
  name: huawei-csi-psp-role
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: Group
  apiGroup: rbac.authorization.k8s.io
  name: system:serviceaccounts:huawei-csi
- kind: Group
  apiGroup: rbac.authorization.k8s.io
  name: system:serviceaccounts:default

执行命令，创建RBAC权限。
```
kubectl create -f rbac.yaml
```

2 - CCE和CCE Agile平台安装华为CSI

本章节介绍如何在CCE / CCE Agile平台安装华为CSI。

制作Helm安装包

CCE和CCE Agile平台无法直接通过Helm安装华为CSI，需要手动制作Helm安装包后上传至平台模板市场进行安装。

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署Helm的任意节点。
将华为CSI组件包中的"helm"目录拷贝到节点的任意目录下。Helm工具路径请参见表软件包组件描述。
进入到helm的工作目录下。
```
cd helm/
```

修改helm/esdk/values.yaml文件中kubeletConfigDir和csiDriver.driverName参数。

vi ./esdk/values.yaml

修改如下参数：

# Specify kubelet config dir path.
# kubernetes and openshift is usually /var/lib/kubelet
# Tanzu is usually /var/vcap/data/kubelet
# CCE is usually /mnt/paas/kubernetes/kubelet
kubeletConfigDir: /mnt/paas/kubernetes/kubelet

# The CSI driver parameter configuration
csiDriver:
  # Driver name, it is strongly recommended not to modify this parameter
  # The CCE platform needs to modify this parameter, e.g. csi.oceanstor.com
  driverName: csi.oceanstor.com

执行命令制作Helm安装包，该命令会将安装包生成到当前路径下。
```
helm package ./esdk/ -d ./
```

安装华为CSI

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署CCE Agile平台master的任意节点。
执行命令创建部署华为CSI的命名空间，huawei-csi为自定义的命名空间。
```
kubectl create namespace huawei-csi
```
导出Helm安装包，具体请参考制作Helm安装包。
在主页单击“模板市场> 我的模板>上传模板”，进入上传模板对话框。将导出的Helm安装包导入CCE Agile平台。
安装包上传完毕，在主页单击“模板市场>我的模板”，进入我的模板页面，单击“安装>提交”。其中模板实例名称可自定义填写。
在主页单击“模板市场>模板实例”，选择安装时指定的项目（例如样例中的项目是“default”）。安装成功后执行状态将回显为“安装成功”。

3 - Helm values.yaml参数说明

在使用Helm安装CSI时，需要您根据部署时需要使用的特性准备Helm工程的values.yaml文件。华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件。

本章节将详细说明values.yaml中的配置项以及典型场景下的后端配置示例。

images参数配置说明

values.yaml中的images配置项主要配置华为CSI运行时依赖的组件镜像信息。需要配置的参数如下：

表 1 images配置项说明

参数	描述	必选参数	默认值
images.huaweiCSIService	huawei-csi镜像。	是	huawei-csi:4.5.0
images.storageBackendSidecar	华为后端管理sidecar镜像。	是	storage-backend-sidecar:4.5.0
images.storageBackendController	华为后端管理控制器镜像。	是	storage-backend-controller:4.5.0
images.huaweiCSIExtender	huawei-csi-extender镜像	否	huawei-csi-extender:4.5.0
images.sidecar.livenessProbe	livenessprobe sidecar镜像。	是	k8s.gcr.io/sig-storage/livenessprobe:v2.5.0
images.sidecar.provisioner	csi-provisioner sidecar镜像。	是	k8s.gcr.io/sig-storage/csi-provisioner:v3.0.0
images.sidecar.attacher	csi-attacher sidecar镜像。	是	k8s.gcr.io/sig-storage/csi-attacher:v3.4.0
images.sidecar.resizer	csi-resizer sidecar镜像。	是	k8s.gcr.io/sig-storage/csi-resizer:v1.4.0
images.sidecar.snapshotter	csi-snapshotter sidecar镜像。	是	k8s.gcr.io/sig-storage/csi-snapshotter:v4.2.1
images.sidecar.snapshotController	snapshot-controller sidecar镜像。	是	k8s.gcr.io/sig-storage/snapshot-controller:v4.2.1
images.sidecar.registrar	csi-node-driver-registrar sidecar镜像。	是	k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.3.0

huaweiCSIService、storageBackendSidecar、storageBackendController、huaweiCSIExtender参数的值，请参考上传华为CSI镜像章节的说明，使用最终生成镜像的名称和版本。
其他sidecar镜像参数，请参考检查CSI依赖的镜像章节的说明，使用最终上传的镜像的名称和版本。

controller参数配置说明

controller配置项用于配置huawei-csi-controller组件的相关配置。

表 2 controller配置项说明

参数	描述	必选参数	默认值	备注
controller.controllerCount	huawei-csi-controller组件的副本数	是	1	-
controller.volumeNamePrefix	PV名称的前缀，默认值为pvc，即创建的PV名称为：pvc-<uuid>。前缀必须满足DNS 子域名的命名规则，且PV名称总长度不得超过253个字符。	否	pvc	对应的provisioner参数名称为：--volume-name-prefix。建议前缀不超过20个字符。详细配置请参考配置PV名称前缀。对接后端是OceanStor V5 SAN时，建议前缀不超过5个字符。对接后端是OceanStor V5 NAS存储时，前缀只能包含小写字母、'-'，以及数字。对接后端是OceanStor Dorado和OceanStor存储时，前缀只能包含小写字母、'-'，以及数字。对接后端是OceanStor Pacific系列存储时，前缀只能包含字母、数字、“_”、“-”和“.”，且总长度限制为58字符。对接后端是FusionStorage Block时，前缀只能包含字母、数字、“_”和“-”，且总长度限制为58字符。
controller.webhookPort	webhook服务使用的端口。	是	4433	如果存在端口冲突可修改为其他未占用的端口。
controller.snapshot.enabled	是否开启快照特性。	是	true	如果要使用快照相关功能，请开启该特性。要求Kubernetes版本高于v1.17。
controller.resizer.enabled	是否开启扩容特性。	是	true	要求Kubernetes版本高于v1.16。
controller.nodeSelector	huawei-csi-controller的节点选择器。配置后huawei-csi-controller仅会调度到存在该标签的节点上。	否	-	节点选择器的详细说明请参考：将 Pod 分配给节点
controller.tolerations	huawei-csi-controller的污点容忍。配置后huawei-csi-controller能够容忍节点上存在该污点。	否	-	污点和容忍度的详细说明请参考：污点和容忍度
controller.livenessProbePort	huawei-csi-controller的存活性探针端口，用于健康检查。	是	9808	如果存在端口冲突可修改为其他未占用的端口
controller.csiExtender.volumeModify.enabled	是否开启PVC变更特性。	否	false	如果要PVC变更相关功能，请开启该特性。
controller.csiExtender.volumeModify.retryBaseDelay	PVC变更创建任务失败时的最小重试间隔。	否	5s	建议使用默认值。
controller.csiExtender.volumeModify.retryMaxDelay	PVC变更创建任务失败时的最大重试间隔。	否	5m	建议使用默认值。
controller.csiExtender.volumeModify.reconcileDelay	调协VolumeModifyClaim对象的间隔。	否	1s	建议使用默认值。

当controller.snapshot.enabled参数配置为true时，需要安装“helm/crd/snapshot-crds”目录下的卷快照CRD资源。

node参数配置说明

node配置项用于配置huawei-csi-node组件的相关配置。

表 3 node配置项说明

参数	描述	必选参数	默认值	备注
node.maxVolumesPerNode	节点可使用的华为CSI发放卷的最大数量。不定义或者配置为0时则认为不限制。如果创建Pod时，指定 nodeName，则会忽略该配置。	否	100	详细说明请参考：Volume Limits
node.nodeSelector	huawei-csi-node的节点选择器。配置后huawei-csi-node仅会调度到存在该标签的节点上。	否	-	节点选择器的详细说明请参考：将 Pod 分配给节点
node.tolerations	huawei-csi-node的污点容忍。配置后huawei-csi-node能够容忍节点上存在该污点。	否	- key: "node.kubernetes.io/memory-pressure" operator: "Exists" effect: "NoExecute" - key: "node.kubernetes.io/disk-pressure" operator: "Exists" effect: "NoExecute" - key: "node.kubernetes.io/network-unavailable" operator: "Exists" effect: "NoExecute"	污点和容忍度的详细说明请参考：污点和容忍度
node.livenessProbePort	huawei-csi-node的存活性探针端口，用于健康检查。	是	9800	如果存在端口冲突可修改为其他未占用的端口
node.kubeletVolumeDevicesDirName	kubelet挂载块设备时的目录名称。	否	volumeDevices	当一个块设备被成功挂载之后，挂载路径的目录结构应该如下所示： /var/lib/kubelet/plugins/kubernetes.io/csi/{kubeletVolumeDevicesDirName}/publish/{specName}/{podUID}

csiDriver参数配置说明

csiDriver配置项包括了华为CSI运行时的基本配置，如华为驱动名称、多路径类型等配置信息。

表 4 csiDriver配置项说明

参数	描述	必选参数	默认值	备注
csiDriver.driverName	注册的驱动名称。	是	csi.huawei.com	直接使用默认值。对于CCE Agile平台，需要修改该字段，例如：csi.oceanstor.com。
csiDriver.endpoint	通信端点。	是	/csi/csi.sock	直接使用默认值。
csiDriver.connectorThreads	最大并发扫盘/卸盘数。参数格式为整型，支持范围为1~10。	是	4	该值设置越大，同一时间单个节点中的针对多路径的扫盘、卸盘并发操作就越多。在使用DM-Multipath时，并发数过大可能会导致未知问题，影响整体时间。
csiDriver.volumeUseMultipath	是否使用多路径软件。参数格式为布尔值。	是	true	强烈建议开启多路径软件，以增强存储链路的冗余度和性能。
csiDriver.scsiMultipathType	存储协议为fc/iscsi时，使用的多路径软件。支持配置如下参数： DM-multipath HW-UltraPath HW-UltraPath-NVMe	当volumeUseMultipath为true时必填。	DM-multipath	建议使用DM-multipath取值。
csiDriver.nvmeMultipathType	存储协议为roce/fc-nvme时，使用的多路径软件。仅支持配置HW-UltraPath-NVMe。	当volumeUseMultipath为true时必填。	HW-UltraPath-NVMe	-
csiDriver.scanVolumeTimeout	在主机上使用DM-Multipath多路径时，等待多路径聚合的超时时间，支持范围为1~600，单位秒。	是	3	-
csiDriver.execCommandTimeout	在主机上执行命令的超时时间	是	30	CSI插件在挂载，扩容盘符等场景下，需要运行一些主机命令，例如使用mount命令挂载文件系统。该配置用于控制执行单条命令的超时时间。
csiDriver.allPathOnline	是否检查DM-Multipath软件聚合的路径数等于实际在线的路径数，支持配置如下参数： true：DM-Multipath软件聚合的路径数等于实际在线的路径数才满足盘符挂载条件。 false：默认不检查DM-Multipath软件聚合的路径数量，只要聚合出虚拟盘符，即满足盘符挂载条件。	当csiDriver.scsiMultipathType为DM-multipath时必填。	false	-
csiDriver.backendUpdateInterval	后端能力的更新时间间隔，支持范围60~600，单位秒。	是	60	-
csiDriver.controllerLogging.module	controller日志记录类型。支持配置如下参数： file console	是	file	使用file选项时，日志将被保留在节点指定的目录下，当CSI所在的Pod被销毁时，日志仍然被保留。使用console选项时，日志将被保留在CSI所在Pod的临时空间中，当CSI所在的Pod被销毁时，日志也随之被销毁。
csiDriver.controllerLogging.level	controller日志输出级别。支持配置如下参数： debug info warning error fatal	是	info	-
csiDriver.controllerLogging.fileDir	controller日志在file输出模式下的日志目录。	是	/var/log/huawei	请确保该目录下有足够的空间保留日志。空间大小建议不小于200 MB。
csiDriver.controllerLogging.fileSize	controller日志在file输出模式下单个日志文件大小。	是	20M	-
csiDriver.controllerLogging.maxBackups	controller日志在file输出模式下日志文件备份上限。	是	9	-
csiDriver.nodeLogging.module	node日志记录类型。支持配置如下参数： file console	是	file	使用file选项时，日志将被保留在节点指定的目录下，当CSI所在的Pod被销毁时，日志仍然被保留。使用console选项时，日志将被保留在CSI所在Pod的临时空间中，当CSI所在的Pod被销毁时，日志也随之被销毁。
csiDriver.nodeLogging.level	node日志输出级别。支持配置如下参数： debug info warning error fatal	是	info	-
csiDriver.nodeLogging.fileDir	node日志在file输出模式下的日志目录。	是	/var/log/huawei	请确保该目录下有足够的空间保留日志。空间大小建议不小于200 MB。
csiDriver.nodeLogging.fileSize	node日志在file输出模式下单个日志文件大小。	是	20M	-
csiDriver.nodeLogging.maxBackups	node日志在file输出模式下日志文件备份上限。	是	9	-

如果您的容器环境已经部署了华为CSI，请确保csiDriver.driverName的设置和之前部署时的配置保持一致。否则会导致系统中已存在的有华为CSI发放的卷/快照无法被新部署的华为CSI管理。

其他参数配置说明

其他配置项包括了CSI插件某些特性的开关或者镜像获取策略。

表 5 其他配置项说明

参数	描述	必选参数	默认值	备注
kubernetes.namespace	华为CSI运行时所在Kubernetes命名空间，支持用户自定义。名称必须由小写字母、数字和“-”组成，例如：my-name、123-abc。	否	huawei-csi	-
kubeletConfigDir	kubelet工作目录。	是	/var/lib/kubelet	直接使用默认值。对于Tanzu平台，需要修改该字段为/var/vcap/data/kubelet。对于CCE Agile平台，需要修改该字段为/mnt/paas/kubernetes/kubelet。
sidecarImagePullPolicy	sidecar镜像的拉取策略。	是	IfNotPresent	-
huaweiImagePullPolicy	huawei-csi镜像的拉取策略。	是	IfNotPresent	-
CSIDriverObject.isCreate	是否创建CSIDriver对象	是	false	CSIDriver特性在Kubernetes v1.18成为GA版本，因此要求Kubernetes版本高于v1.18，当Kubernetes版本低于 v1.18时，请设置该参数为false。
CSIDriverObject.attachRequired	CSI插件是否跳过attach操作。支持配置如下参数： true：需要attach操作。 false：跳过attach操作。	是	true	参数attachRequired在Kubernetes v1.18支持配置。如果CSIDriverObject.isCreate为true并且attachRequired参数设置为false时，huawei-csi插件将不会部署csi-attacher这个sidecar。使用NAS存储时支持配置为false。使用SAN存储时，请配置为true。
CSIDriverObject.fsGroupPolicy	基础卷是否支持在装载之前更改卷的所有权和权限。支持配置如下参数： "ReadWriteOnceWithFSType"：仅当定义了fsType并且卷的accessModes包含ReadWriteOnce时，才支持卷所有权和权限更改。 "File"：Kubernetes可以使用fsGroup更改卷的权限和所有权，以匹配Pod安全策略中用户请求的fsGroup，而不管fsGroup或accessModes如何。 "None"：将在不进行修改的情况下装载卷。 "null"：将不设置fsGroupPolicy参数	否	null	参数fsGroupPolicy在Kubernetes v1.20支持配置，并且当CSIDriverObject.isCreate为true时该参数生效。该特性在Kubernetes v1.20中为Beta版本，在Kubernetes v1.23成为GA版本，因此要求Kubernetes版本高于v1.20。
leaderElection.leaseDuration	领导者持续时间。	否	8s	仅多controller场景生效。
leaderElection.renewDeadline	领导者重新选举时间。	否	6s	仅多controller场景生效。
leaderElection.retryPeriod	领导者选举重试时间。	否	2s	仅多controller场景生效。

请确保此kubernetes.namespace填入的命名空间在Kubernetes上已经存在，如果不存在请使用如下命令创建对应的命名空间。本例中，华为CSI运行的命名空间为“huawei-csi”。
kubectl create namespace huawei-csi