华为容器存储套件

• 1: 前言
• 2: 概述
• 3: 快速开始
• 4: 兼容性和特性
• 4.1: Kubernetes及操作系统兼容性
• 4.2: Kubernetes特性矩阵
• 4.3: 华为企业存储兼容性
• 4.4: 华为分布式存储兼容性
• 5: 安装部署
• 5.1: 安装前准备
• 5.1.1: 下载华为CSI软件包
• 5.1.2: 上传华为CSI镜像
• 5.1.3: 检查华为存储上的用户配置
• 5.1.4: 检查卷快照依赖组件
• 5.1.5: 检查主机多路径配置
• 5.1.6: 检查主机依赖软件状态
• 5.1.7: 检查CSI依赖的镜像
• 5.2: 安装华为CSI
• 5.2.1: 使用Helm安装华为CSI
• 5.2.1.1: Kubernetes、OpenShift、Tanzu安装华为CSI
• 5.2.1.2: CCE和CCE Agile平台安装华为CSI
• 5.2.1.3: Helm values.yaml参数说明
• 5.2.2: 手动安装华为CSI
• 5.3: 卸载华为CSI
• 5.3.1: Helm卸载华为CSI
• 5.3.1.1: Kubernetes、OpenShift、Tanzu卸载华为CSI
• 5.3.1.2: CCE和CCE Agile卸载华为CSI
• 5.3.1.3: 卸载CSI依赖组件服务
• 5.3.2: 手动卸载华为CSI
• 5.4: 升级/回退华为CSI
• 5.4.1: 使用Helm升级/回退华为CSI
• 5.4.1.1: 升级华为CSI
• 5.4.1.1.1: 从2.x或3.x升级至4.x版本
• 5.4.1.1.2: Kubernetes、OpenShift、Tanzu升级华为CSI
• 5.4.1.1.3: CCE和CCE Agile升级华为CSI
• 5.4.1.2: 回退华为CSI
• 5.4.1.2.1: Kubernetes、OpenShift、Tanzu回退华为CSI
• 5.4.1.2.2: CCE和CCE Agile回退华为CSI
• 5.4.2: 手动升级/回退
• 5.4.2.1: 升级华为CSI
• 5.4.2.2: 回退华为CSI
• 6: 存储后端管理
• 6.1: 管理存储后端
• 6.1.1: 创建存储后端
• 6.1.1.1: 典型场景存储后端配置文件示例
• 6.1.1.2: 存储后端配置项说明
• 6.1.2: 查询存储后端
• 6.1.3: 更新存储后端
• 6.1.3.1: oceanctl更新存储后端密码
• 6.1.3.2: 手动更新存储后端
• 6.1.4: 删除存储后端
• 6.2: 新增证书到存储后端（可选）
• 6.2.1: 创建证书到存储后端
• 6.2.2: 查询存储后端证书
• 6.2.3: 更新存储后端证书
• 6.2.4: 删除存储后端证书
• 6.3: oceanctl命令说明
• 7: 使用华为CSI
• 7.1: PVC管理
• 7.1.1: 创建PVC
• 7.1.1.1: 动态卷供应
• 7.1.1.1.1: 动态卷供应典型场景StorageClass配置示例
• 7.1.1.1.2: 动态卷供应StorageClass参数说明
• 7.1.1.1.3: 动态卷供应PVC参数说明
• 7.1.1.2: 纳管卷供应
• 7.1.1.2.1: 纳管卷供应典型场景StorageClass配置示例
• 7.1.1.2.2: 纳管卷供应StorageClass参数说明
• 7.1.1.2.3: 纳管卷供应PVC参数说明
• 7.1.1.3: 静态卷供应
• 7.1.1.3.1: 静态卷供应PV参数说明
• 7.1.1.3.2: 静态卷供应PVC参数说明
• 7.1.2: 扩容PVC
• 7.1.3: 克隆PVC
• 7.1.4: 从快照创建PVC
• 7.2: 创建VolumeSnapshot
• 7.2.1: 检查卷快照依赖组件信息
• 7.2.2: 配置VolumeSnapshotClass
• 7.2.3: 配置VolumeSnapshot
• 8: 高级特性
• 8.1: 配置ALUA特性
• 8.1.1: 通过Helm配置ALUA特性
• 8.1.1.1: 配置华为企业存储后端的ALUA参数
• 8.1.1.2: 配置分布式存储后端的ALUA参数
• 8.2: 配置存储拓扑感知
• 8.2.1: 通过Helm配置存储拓扑感知
• 8.3: PVC变更
• 8.3.1: 开启PVC变更特性
• 8.3.1.1: 使用Helm开启PVC变更特性
• 8.3.1.2: 手动方式开启PVC变更特性
• 8.3.2: 配置PVC变更
• 8.3.2.1: 创建PVC变更
• 8.3.2.1.1: 准备PVC变更文件
• 8.3.2.1.2: 创建PVC变更资源
• 8.3.2.2: 查询PVC变更
• 8.3.2.3: 删除PVC变更
• 9: 常用操作
• 9.1: 安装Helm 3
• 9.2: 信息收集
• 9.2.1: 如何获取CSI版本信息
• 9.2.2: 如何查看华为CSI日志
• 9.2.3: 日志收集
• 9.3: 下载容器镜像
• 9.4: 更新huawei-csi-controller或huawei-csi-node服务
• 9.5: 修改日志输出模式
• 9.6: 开启ReadWriteOncePod功能门
• 9.7: 配置非root用户访问Kubernetes集群
• 10: 故障处理
• 10.1: 华为CSI服务相关问题
• 10.1.1: 启动huawei-csi-node失败，提示错误为：“/var/lib/iscsi is not a directory”
• 10.1.2: 启动华为CSI服务失败，提示错误：“/etc/localtime is not a file”
• 10.1.3: 启动huawei-csi服务时，服务启动异常， 状态显示InvalidImageName
• 10.2: 存储后端相关问题
• 10.2.1: 使用oceanctl工具管理后端时调用webhook失败
• 10.2.2: 使用oceanctl工具创建后端失败，报错：context deadline exceeded
• 10.2.3: 存储侧更新密码后账户被锁定
• 10.3: PVC相关问题
• 10.3.1: 创建PVC时， PVC的状态为Pending
• 10.3.2: 删除PVC前，PVC的状态为Pending
• 10.3.3: 通用临时卷扩容失败
• 10.3.4: PVC扩容的目标容量超过存储池容量导致扩容失败
• 10.4: Pod相关问题
• 10.4.1: 集群中worker节点宕机并恢复后，Pod完成failover，但是Pod所在源主机出现盘符残留
• 10.4.2: 创建Pod时，Pod的状态为ContainerCreating
• 10.4.3: 创建Pod时，Pod的状态长时间处于ContainerCreating状态
• 10.4.4: 创建Pod失败，日志显示执行mount命令超时
• 10.4.5: 创建Pod失败，日志显示执行mount命令失败
• 10.4.6: 创建Pod失败，Events日志显示“publishInfo doesn't exist”
• 10.4.7: 创建Pod失败或重启kubelet后，日志显示挂载点已存在
• 10.4.8: Pod挂载卷目录提示I/O error
• 10.4.9: Kubernetes平台第一次搭建时， iscsi tcp服务没有正常启动，导致创建Pod失败
• 10.5: 对接Tanzu Kubernetes集群常见问题及解决方法
• 10.5.1: 未创建PSP权限导致Pod无法创建
• 10.5.2: 修改主机挂载点
• 10.5.3: 修改livenessprobe容器的默认端口
• 10.5.4: 创建临时卷失败
• 11: 附录
• 11.1: OceanStor V5系列和OceanStor Dorado V3系列ALUA特性配置策略样例
• 11.2: OceanStor Dorado ALUA特性配置策略样例
• 11.3: 分布式存储ALUA特性配置策略样例
• 11.4: 通信矩阵
• 11.5: 配置自定义权限
• 11.6: 华为CSI资源管理

1 - 前言

读者对象

本文档主要适用于以下读者对象：

• 技术支持工程师
• 运维工程师
• 具备存储和Kubernetes基础知识的工程师

符号约定

在本文中可能出现下列标志，它们所代表的含义如下。

2 - 概述

容器存储接口（Container Storage Interface），简称 CSI，是一种行业标准，用于将块和文件存储系统暴露给 Kubernetes 等容器编排系统 (CO) 上的容器工作负载。华为CSI插件用于和华为企业存储和分布式存储产品进行通信，为Kubernetes的容器工作负载提供存储服务。是华为企业存储和分布式存储在Kubernetes环境中使用的必须插件。

Kubernetes通过其官方维护的一系列sidecar组件负责注册监听Kubernetes对象资源，并在需要的时候通过gRPC发起对CSI Driver调用，华为CSI Driver将sidecar发起的调用在华为存储上实施，如创建一个持久卷（Persistent Volume，PV）的操作被实施为在华为存储上创建一个LUN/文件系统。Kubernetes、华为CSI以及华为存储的整体结构如下图所示：

图 1 CSI整体架构

华为CSI主要有两大组件，分别为huawei-csi-controller和huawei-csi-node：

• huawei-csi-controller：包含Controller Service和Identity Service，以Deployment方式运行的一个或多个Pod，主要负责与华为存储交互，使用RESTful方式进行通信，因此运行huawei-csi-controller组件的节点需要连通存储的管理面网络。
• huawei-csi-node：包含Node Service和Identity Service，以DaemonSet方式运行在Kubernetes工作节点上的Pod，用于在工作节点上对华为存储提供的LUN/文件系统资源进行挂载和卸载等操作，因此运行huawei-csi-node组件的节点需要连通存储的业务面网络。

华为CSI的部署模型如下所示：

图 2 CSI部署模型

本文档主要介绍华为CSI V4.5.0插件的安装部署和使用。

3 - 快速开始

本章节说明如何快速上手安装并使用华为CSI管理PVC。

华为CSI使用流程概览

图 1 CSI安装及使用流程图

兼容性和特性

使用前请先了解对接的华为存储、容器平台和主机操作系统相关的兼容性以及支持的特性。

兼容性和特性

安装前准备

安装华为CSI前，需要对容器平台、主机等环境做相关配置准备。

安装前准备

安装部署

华为CSI提供了Helm和手动安装两种安装方式，并适用于包含Kubernetes、OpenShift等不同的容器平台。

安装部署

创建存储后端

在使用华为CSI前，需要先创建存储后端资源。

创建存储后端

使用华为CSI

现在，您可以开始使用华为CSI进行PVC管理了。

使用华为CSI

4 - 兼容性和特性

本章节会详细说明华为CSI插件支持的容器管理平台、操作系统、多路径软件以及CSI插件配合华为存储所提供的特性和功能。

4.1 - Kubernetes及操作系统兼容性

华为CSI插件支持如下容器管理平台：

表 1 支持的容器管理平台

• 华为CSI对接Tanzu Kubernetes仅支持集中式存储NAS场景，相关FAQ请参见对接Tanzu Kubernetes集群常见问题及解决方法。
• 华为CSI对接CCE/CCE Agile仅支持集中式存储。

华为CSI插件支持的操作系统以及多路径信息如下表所示。

表 2 支持的主机操作系统及多路径软件版本

注释1 仅Kylin x86_64 V10 SP2支持UltraPath 31.2.0。

注释2 仅Kylin ARM V10 SP3支持UltraPath 31.3.0。

注释3 Anolis OS仅支持OceanStor Pacific存储。

因DM-Multipath在0.7版本存在执行multipathd show maps时可能无法回显所有的虚拟设备，因此建议使用0.8及以上版本。 DM-Multipath版本可以通过以下途径查询：

• 如果使用的是rpm包，执行：rpm -qa | grep multipath或rpm -qa | grep device-mapper。
• 如果使用的是deb包，执行：dpkg -l | grep multipath。

4.2 - Kubernetes特性矩阵

本章节说明华为CSI在不同Kubernetes版本下支持的特性。

表 1 Kubernetes版本与支持的特性

• 注释1 Manage Provisioning是华为CSI自定义的纳管卷特性，该特性支持将已有存储资源纳管至Kubernetes。不允许将一个存储资源纳管多次和针对同一个存储资源进行并发删除/创建操作。当同一个存储资源被多个集群纳管时，在单个集群中针对该纳管卷的操作仅在当前集群内生效，不会同步到其他集群中，需要使用者自行在其他集群中对该纳管卷进行数据同步操作。
• 注释2 Modify Volume是华为CSI自定义的PVC变更特性，该特性支持将普通卷变更为双活卷，使用该特性需要对接存储支持卷双活特性。

4.3 - 华为企业存储兼容性

华为CSI插件兼容华为OceanStor系列的全闪存存储和混合闪存存储，具体支持的存储版本如下表所示：

表 1 支持的华为企业存储

华为CSI插件针对华为企业存储支持如下特性。

表 2 华为企业存储支持的特性及约束

• 注释1 Manage Provisioning是华为CSI自定义的纳管卷特性，该特性支持将已有存储资源纳管至Kubernetes。不允许将一个存储资源纳管多次和针对同一个存储资源进行并发删除/创建操作。
• 注释2 若用户的容器平台部署在虚拟化环境中，则仅支持iSCSI组网。
• 注释3 使用NVMe over RoCE或NVMe over FC时，worker节点nvme-cli工具版本不低于1.9，查询命令为：nvme version。
• 注释4 仅OceanStor Dorado 6.1.0及以后版本支持NFS。仅OceanStor Dorado 6.1.3及以后版本支持NFS 4.1，OceanStor Dorado 6.1.7及以后版本支持NFS over RDMA，仅OceanStor Dorado 6.1.8及以后版本支持NFS 4.2。
• 注释5 发放的volumeType为lun且accessModes为ReadOnlyMany的PVC不支持扩容。
• 注释6 仅系统用户支持配置QoS。
• 注释7 仅支持AA双活。
• 注释8 仅OceanStor Dorado 6.1.3及以后版本支持多租户。

华为CSI插件针对华为企业存储Dtree特性支持如下表所示。

表 3 Dtree支持的特性

表 4 Dtree支持的华为存储版本

4.4 - 华为分布式存储兼容性

华为CSI插件兼容华为OceanStor系列的分布式存储系统，具体支持的存储版本如下表所示：

表 1 支持的华为分布式存储

华为CSI插件针对华为分布式存储支持如下特性。

表 2 华为分布式存储支持的特性及约束

• 注释1 Manage Provisioning是华为CSI自定义的纳管卷特性，该特性支持将已有存储资源纳管至Kubernetes。不允许将一个存储资源纳管多次和针对同一个存储资源进行并发删除/创建操作。
• 注释2 仅OceanStor Pacific系列 8.1.2及以后版本支持DPC。华为CSI支持的操作系统对DPC的支持请参考对应产品版本兼容性文档。
• 注释3 仅OceanStor Pacific系列 8.1.2及以后版本支持NFS 4.1。
• 注释4 发放的volumeType为lun且accessModes为ReadOnlyMany的PVC不支持扩容。

5 - 安装部署

5.1 - 安装前准备

本章节将对安装前的准备工作进行详细说明。

前提条件

在进行本章节所说明的操作前，请确保如下条件已经具备：

• 容器管理平台已部署完成并正常运行，且兼容性满足Kubernetes及操作系统兼容性章节的要求。
• （企业存储必选）已完成对接华为企业存储初始化配置，包括存储池划分、端口配置等。且存储产品的版本满足华为企业存储兼容性章节的要求。
• （分布式存储必选）已完成对接华为分布式存储初始化配置，包括存储池划分、端口配置等。且存储产品的版本满足华为分布式存储兼容性章节的要求。
• 完成华为存储和容器平台主机连通性配置，例如运行huawei-csi-controller的worker节点与待接入的存储设备的管理IP地址通信正常，运行huawei-csi-node的worker节点与待接入的存储设备的业务IP地址通信正常，iSCSI场景下允许使用ping命令进行连通性校验。
• 请确保操作系统的语言是英文。
• 请确保存储池、租户名称等相关存储资源名称是英文。

5.1.1 - 下载华为CSI软件包

本章节详细说明了下载方法以及软件包组件结构。

1. 打开浏览器，访问仓库地址：https://github.com/Huawei/eSDK_K8S_Plugin/releases。

2. 根据CPU架构，下载对应的4.5.0版本软件包。

   软件包命名规范：插件名称（eSDK_Huawei_Storage_Kubernetes_CSI_Plugin）+版本号+CPU架构

3. 将下载的软件包解压。软件包组件结构如下表所示。

   表 1 软件包组件描述

   组件	组件描述
   image/huawei-csi-v4.5.0-arch.tar	huawei-csi-driver镜像，"arch"为X86或ARM。
   image/storage-backend-controller-v4.5.0-arch.tar	后端管理控制器镜像，"arch"为X86或ARM。
   image/storage-backend-sidecar-v4.5.0-arch.tar	后端管理sidecar镜像，"arch"为X86或ARM。
   image/huawei-csi-extender-v4.5.0-arch.tar	huawei-csi-extender镜像，"arch"为X86或ARM。
   bin/	华为提供的镜像使用的二进制文件。
   bin/oceanctl	华为提供的命令行工具，可用于管理存储后端。
   helm/	Helm工程，用于部署华为CSI。
   manual/	用于手动安装部署华为CSI。
   examples/	CSI使用过程中的yaml示例文件。
   examples/backend	创建存储后端的yaml示例文件。

5.1.2 - 上传华为CSI镜像

华为提供huawei-csi镜像供用户使用，镜像文件获取请参考下载华为CSI软件包。

为了后续在容器管理平台中可以使用CSI镜像，需要按照以下方式中的一种提前将CSI镜像导入到集群中：

• 使用Docker工具，将CSI镜像上传至镜像仓库（推荐）。
• 手动将CSI镜像导入到所有需要部署华为CSI的节点。

上传镜像到镜像仓库

安装华为CSI依赖如下三个华为提供的镜像文件，请按照说明依次导入并上传下列镜像文件，镜像文件获取请参考下载华为CSI软件包。

• huawei-csi-v4.5.0-arch.tar
• storage-backend-controller-v4.5.0-arch.tar
• storage-backend-sidecar-v4.5.0-arch.tar
• huawei-csi-extender-v4.5.0-arch.tar

前提条件

已准备一台已安装Docker的Linux主机，且该主机支持访问镜像仓库。

操作步骤

1. 执行docker load -i huawei-csi-v4.5.0-arch.tar命令，将CSI镜像导入当前节点。

   docker load -i huawei-csi-v4.5.0-arch.tar 
   

2. 执行docker tag huawei-csi:4.5.0 repo.huawei.com/huawei-csi:4.5.0命令，添加镜像仓库地址到镜像标签。其中repo.huawei.com表示镜像仓库的地址。

   docker tag huawei-csi:4.5.0 repo.huawei.com/huawei-csi:4.5.0
   

3. 执行docker push repo.huawei.com/huawei-csi:4.5.0命令，将CSI镜像上传到镜像仓库。其中repo.huawei.com表示镜像仓库的地址。

   docker push repo.huawei.com/huawei-csi:4.5.0
   

• 也可以使用containerd来进行镜像的导入和上传。
• CCE / CCE Agile平台请参考该平台用户手册完成镜像导入和上传。

上传镜像到本地节点

若镜像已上传至镜像仓库，则跳过本章节。

前提条件

• 该节点已获取对应的华为CSI镜像文件，镜像文件获取请参考下载华为CSI软件包。
• 该节点已经安装Docker或其他容器引擎。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录需要导入镜像的节点。

2. 将Kubernetes CSI组件包中的"image"目录拷贝到当前节点的任意目录下。

3. 执行cd image命令，进入到image的工作目录。工具路径请参见表 软件包组件描述。

4. 执行命令依次将image目录下的所有华为CSI镜像导入至本地节点，其中 name 参数是镜像tar包的名字。

   使用Docker容器引擎执行：

   docker load -i <name>.tar
   

   使用containerd容器引擎执行：

   ctr -n k8s.io image import <name>.tar
   

   使用Podman容器引擎执行：

   podman load -i <name>.tar
   

   
   当节点主机安装的是其他容器引擎时，请使用对应容器引擎的导入镜像命令。

5.1.3 - 检查华为存储上的用户配置

当华为存储接入容器平台后，华为CSI需要在华为存储上根据业务要求，管理存储资源，如创建卷、映射卷等操作。此时，华为CSI需要使用华为存储上已经创建的用户和华为存储进行通信。针对不同存储设备所需要的用户信息如下表所示。

表 1 存储对接CSI时使用的用户要求

• 注释1 使用自定义角色，需要给角色配置权限，最小权限请参考配置自定义权限章节配置。

不推荐使用“超级管理员”角色下的用户。

5.1.4 - 检查卷快照依赖组件

本章节介绍如何检查集群中卷快照依赖组件情况。

由于Kubernetes v1.17.0之前不支持快照功能，如果部署快照CRD可能导致集群出现问题，因此在低于Kubernetes v1.17.0版本上部署华为CSI，请务必按照Kubernetes低于v1.17.0章节检查。

Kubernetes低于v1.17.0

Kubernetes低于v1.17.0时，部署快照时将会导致集群出现问题，请按照以下步骤删除快照CRD安装文件。

1. 执行以下命令查看Kubernetes版本。如下示例中，Kubernetes版本为v1.16.0。

   kubectl get node
   

   命令结果示例如下：

   NAME          STATUS       ROLES     AGE    VERSION
   test-master   Ready        master    311d   v1.16.0
   test-node     Ready        <none>    311d   v1.16.0
   

2. 进入/helm/esdk/crds/snapshot-crds目录，执行以下命令，删除快照CRD安装文件。组件包路径请参考表 软件包组件描述。

   rm -rf ./huawei-csi-snapshot-crd-v1.yaml
   

5.1.5 - 检查主机多路径配置

当您计划在容器环境中使用FC/iSCSI/NVMe over RoCE/NVMe over FC协议对华为存储进行访问时，推荐您使用主机多路径软件增强主机和存储的链路冗余和性能。如果您不准备使用多路径软件，请跳过本章节。

华为CSI软件支持对接的操作系统和多路径软件请参考表 支持的主机操作系统及多路径软件版本。

• 如果您准备使用FC/iSCSI协议对接华为存储时，推荐使用操作系统自带的原生DM-Multipath。
• 如果您准备使用NVMe over RoCE/NVMe over FC协议对接华为存储时，推荐使用华为自研的UltraPath-NVMe。
• 如果您使用SCSI协议对接华为存储时，请关闭操作系统自带的DM-Multipath。

前提条件

主机多路径软件已经被正确的安装在主机上。

• 如果您使用的是操作系统自带的原生DM-Multipath，请咨询您的主机或操作系统提供商获取安装所需的资料和软件包。
• 如果您使用的是华为自研的UltraPath或者UltraPath-NVMe，请联系华为工程师获取UltraPath或者UltraPath-NVMe的资料和软件包。软件包版本请参考表 软件包组件描述。

操作步骤

1. 如果您使用iSCSI/FC协议对接华为企业存储，请参考OceanStor Dorado & OceanStor在Red Hat下的主机连通性指南，对主机多路径进行配置和检查。

2. 如果您使用NVMe over RoCE/NVMe over FC协议对接华为企业存储，请参考OceanStor Dorado & OceanStor在Red Hat下的主机连通性指南，对主机多路径进行配置和检查。

3. 如果您使用iSCSI协议对接华为分布式存储，请参考 《FusionStorage 8.0.1 块存储基础业务配置指南》中的“应用服务器配置多路径”章节，对主机多路径进行配置和检查。

4. 如果您使用了操作系统原生多路径时，需要检查/etc/multipath.conf文件，检查文件是否存在如下配置：

   defaults {
           user_friendly_names yes
           find_multipaths no
   }
   

   如果配置不存在，请在/etc/multipath.conf文件开始处增加该配置项。

   user_friendly_names 和find_multipaths 的参数作用请参考：dm_multipath/config_file_defaults

5.1.6 - 检查主机依赖软件状态

本章节介绍如何检查集群中工作节点上主机依赖软件状态是否正常。本例中主机操作系统为CentOS 7.9 x86_64。

• 检查iSCSI客户端状态。

  systemctl status iscsi iscsid 
  

• 检查NFS客户端状态。

  systemctl status rpcbind 
  

• 检查DM-Multipath多路径软件状态。

  systemctl status multipathd.socket multipathd
  

• 检查UltraPath多路径软件状态。

  systemctl status nxup
  

• 检查UltraPath-NVMe多路径软件状态。

  systemctl status upudev upService_plus
  

5.1.7 - 检查CSI依赖的镜像

华为CSI安装过程中需要依赖下表中的镜像，若集群中的所有worker节点已连接互联网且能够在线拉取镜像，则可跳过本章节。若集群中的节点无法连接互联网，则请根据使用的Kubernetes版本，下载对应的镜像文件并上传到镜像仓库中或者导入Kubernetes集群的所有worker节点中。

huawei-csi-controller服务依赖的sidecar镜像：livenessprobe、csi-provisioner、csi-attacher、csi-resizer、csi-snapshotter、snapshot-controller、storage-backend-controller、storage-backend-sidecar、huawei-csi-driver和huawei-csi-extender。huawei-csi-node服务依赖的sidecar镜像：livenessprobe、csi-node-driver-registrar和huawei-csi-driver。

关于每个镜像的功能和详情，请参考下表。

表 1 Huawei CSI依赖的镜像

集群若未连接互联网，需要手动下载容器镜像并上传到集群中，具体操作请参考下载容器镜像。

5.2 - 安装华为CSI

本章节介绍如何安装华为CSI。

当前版本华为CSI添加了资源请求和限制，具体详情请参考华为CSI资源管理。

前提条件

• 已完成安装前准备。
• 集群的所有worker节点与待接入的存储设备的业务组网通信正常，iSCSI场景下允许使用ping命令进行连通性校验。
• 集群的所有worker节点已安装对应协议所需要的软件客户端，如iSCSI客户端、NFS客户端等。

5.2.1 - 使用Helm安装华为CSI

Helm安装说明

本章节介绍如何使用Helm 3安装部署华为CSI。

• 华为CSI的安装支持root用户和非root用户。使用非root用户安装华为CSI时，需要保证当前用户能够访问Kubernetes集群的API Server，配置非root用户访问Kubernetes集群请参考配置非root用户访问Kubernetes集群。
• 华为CSI必须在root用户权限下运行。

Helm是Kubernetes生态系统中的一个软件包管理工具，类似Ubuntu的APT、CentOS的YUM、或Python的pip一样，专门负责管理Kubernetes的应用资源。

使用Helm可以对Kubernetes应用进行统一打包、分发、安装、升级以及回退等操作。

• Helm的获取、安装请参考：https://helm.sh/docs/intro/install/
• Helm与Kubernetes版本对应关系请参考：https://helm.sh/docs/topics/version_skew/

Helm在安装huawei-csi-controller时，将在指定命名空间的Deployment类型的工作负载中部署以下组件：

• huawei-csi-driver：华为CSI驱动。
• storage-backend-controller：华为后端管理控制器，管理storageBackendClaim资源。
• storage-backend-sidecar：用于管理storageBackendContent资源。
• Kubernetes External Provisioner：用于提供/删除卷。
• Kubernetes External Attacher：用于挂载/解挂载卷。
• Kubernetes External Resizer：用于扩容卷。
• Kubernetes External liveness-probe： 用来判断Pod健康状态。
• （可选）huawei-csi-extender：华为CSI扩展。
• （可选）Kubernetes External Snapshotter：提供快照支持（作为CRD安装）。
• （可选）Kubernetes External Snapshot Controller ：用于卷快照控制。

Helm在安装huawei-csi-node时，将在指定命名空间的DaemonSet类型的工作负载中部署以下组件：

• huawei-csi-driver：华为CSI驱动。
• Kubernetes Node Registrar：处理驱动程序注册。
• liveness-probe: 用来判断Pod健康状态。

5.2.1.1 - Kubernetes、OpenShift、Tanzu安装华为CSI

安装步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录集群的任意master节点。

2. 将Kubernetes CSI组件包中的"helm"目录拷贝到master节点的任意目录下。Helm工具路径请参见表 软件包组件描述。

3. 进入到helm/esdk的工作目录下。

   cd helm/esdk
   

4. 准备values.yaml文件，华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件，您也可以根据Helm values.yaml参数说明修改参数对华为CSI进行定制。

5. 安装前配置：

   • 若容器平台为Kubernetes，可跳过该步骤。
   • 若容器平台为Openshift，请根据OpenShift平台安装配置进行配置。
   • 若容器平台为Tanzu，请根据Tanzu平台安装配置进行配置。

6. 执行命令，更新存储后端CRD

   kubectl apply -f ./crds/backend/
   

7. （可选） 请务必按照检查卷快照依赖组件章节检查快照依赖组件，确认无误后执行执行命令更新快照CRD，如果controller.snapshot.enabled参数设置为false或Kubernetes版本低于v1.17，可跳过本步骤，详情请参考表 controller配置项说明。

   kubectl apply -f ./crds/snapshot-crds/ --validate=false
   

8. 执行如下命令安装华为CSI。其中，helm-huawei-csi为自定义的Helm Chart名称，./表示使用当前目录下的Helm工程，huawei-csi为自定义的Helm Chart命名空间。

   helm install helm-huawei-csi ./ -n huawei-csi --create-namespace
   

   命令执行结果如下：

   NAME: helm-huawei-csi
   LAST DEPLOYED: Wed Jun  8 11:50:28 2022
   NAMESPACE: huawei-csi
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   

9. 完成huawei-csi服务部署后，可执行如下命令检查服务是否启动：

   kubectl get pod -n huawei-csi
   

   命令结果示例如下，Pod状态为“Running“则安装成功。

   NAME                                     READY   STATUS    RESTARTS   AGE
   huawei-csi-controller-6dfcc4b79f-9vjtq   9/9     Running   0          24m
   huawei-csi-controller-6dfcc4b79f-csphc   9/9     Running   0          24m
   huawei-csi-node-g6f4k                    3/3     Running   0          20m
   huawei-csi-node-tqs87                    3/3     Running   0          20m
   

OpenShift平台安装配置

OpenShift平台请根据以下命令创建SecurityContextConstraints资源。

1. 执行命令，编辑helm_scc.yaml文件。

   vi helm_scc.yaml
   

2. 修改helm_scc.yaml文件。其中，下列回显中huawei-csi是指创建的命名空间，请根据实际情况填写。

   apiVersion: security.openshift.io/v1
   kind: SecurityContextConstraints
   metadata:
     name: helm-scc
   allowHostDirVolumePlugin: true
   allowHostIPC: true
   allowHostNetwork: true
   allowHostPID: true
   allowHostPorts: true
   allowPrivilegeEscalation: true
   allowPrivilegedContainer: true
   
   defaultAddCapabilities:
   - SYS_ADMIN
   runAsUser:
     type: RunAsAny
   seLinuxContext:
     type: RunAsAny
   fsGroup:
     type: RunAsAny
   users:
   - system:serviceaccount:huawei-csi:huawei-csi-controller
   - system:serviceaccount:huawei-csi:huawei-csi-node
   

3. 执行命令，创建SecurityContextConstraints。

   oc create -f helm_scc.yaml
   

Tanzu平台安装配置

Tanzu平台请执行以下命令配置kubelet安装目录。

1. 进入到安装包的helm/esdk目录下，执行命令打开配置文件，修改后保存。安装包目录请参见表 软件包组件描述。

   vi values.yaml
   

2. 修改kubeletConfigDir参数如下：

   # Specify kubelet config dir path.
   # kubernetes and openshift is usually /var/lib/kubelet
   # Tanzu is usually /var/vcap/data/kubelet
   # CCE is usually /mnt/paas/kubernetes/kubelet
   kubeletConfigDir: /var/vcap/data/kubelet
   

Tanzu平台TKGI 1.16版本及以下请执行以下命令配置RBAC权限

1. 执行命令， 创建rbac.yaml文件。

   vi rbac.yaml
   

2. 粘贴如下内容至rbac.yaml，保存并退出：

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: huawei-csi-psp-role
   rules:
   - apiGroups: ['policy']
     resources: ['podsecuritypolicies']
     verbs: ['use']
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: huawei-csi-psp-role-cfg
   roleRef:
     kind: ClusterRole
     name: huawei-csi-psp-role
     apiGroup: rbac.authorization.k8s.io
   subjects:
   - kind: Group
     apiGroup: rbac.authorization.k8s.io
     name: system:serviceaccounts:huawei-csi
   - kind: Group
     apiGroup: rbac.authorization.k8s.io
     name: system:serviceaccounts:default
   

3. 执行命令，创建RBAC权限。

   kubectl create -f rbac.yaml
   

5.2.1.2 - CCE和CCE Agile平台安装华为CSI

本章节介绍如何在CCE / CCE Agile平台安装华为CSI。

制作Helm安装包

CCE和CCE Agile平台无法直接通过Helm安装华为CSI，需要手动制作Helm安装包后上传至平台模板市场进行安装。

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署Helm的任意节点。

2. 将华为CSI组件包中的"helm"目录拷贝到节点的任意目录下。Helm工具路径请参见表 软件包组件描述。

3. 进入到helm的工作目录下。

   cd helm/
   

4. 修改helm/esdk/values.yaml文件中kubeletConfigDir和csiDriver.driverName参数。

   vi ./esdk/values.yaml
   

   修改如下参数：

   # Specify kubelet config dir path.
   # kubernetes and openshift is usually /var/lib/kubelet
   # Tanzu is usually /var/vcap/data/kubelet
   # CCE is usually /mnt/paas/kubernetes/kubelet
   kubeletConfigDir: /mnt/paas/kubernetes/kubelet
   
   # The CSI driver parameter configuration
   csiDriver:
     # Driver name, it is strongly recommended not to modify this parameter
     # The CCE platform needs to modify this parameter, e.g. csi.oceanstor.com
     driverName: csi.oceanstor.com
   

5. 执行命令制作Helm安装包，该命令会将安装包生成到当前路径下。

   helm package ./esdk/ -d ./
   

安装华为CSI

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署CCE Agile平台master的任意节点。

2. 执行命令创建部署华为CSI的命名空间，huawei-csi为自定义的命名空间。

   kubectl create namespace huawei-csi
   

3. 导出Helm安装包，具体请参考制作Helm安装包。

4. 在主页单击“模板市场> 我的模板>上传模板”，进入上传模板对话框。将导出的Helm安装包导入CCE Agile平台。

   

5. 安装包上传完毕，在主页单击“模板市场>我的模板”，进入我的模板页面，单击“安装>提交”。其中模板实例名称可自定义填写。

   

6. 在主页单击“模板市场>模板实例”，选择安装时指定的项目（例如样例中的项目是“default”）。安装成功后执行状态将回显为“安装成功”。

   

5.2.1.3 - Helm values.yaml参数说明

在使用Helm安装CSI时，需要您根据部署时需要使用的特性准备Helm工程的values.yaml文件。华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件。

本章节将详细说明values.yaml中的配置项以及典型场景下的后端配置示例。

images参数配置说明

values.yaml中的images配置项主要配置华为CSI运行时依赖的组件镜像信息。需要配置的参数如下：

表 1 images配置项说明

• huaweiCSIService、storageBackendSidecar、storageBackendController、huaweiCSIExtender参数的值，请参考上传华为CSI镜像章节的说明，使用最终生成镜像的名称和版本。
• 其他sidecar镜像参数，请参考检查CSI依赖的镜像章节的说明，使用最终上传的镜像的名称和版本。

controller参数配置说明

controller配置项用于配置huawei-csi-controller组件的相关配置。

表 2 controller配置项说明

当controller.snapshot.enabled参数配置为true时，需要安装“helm/crd/snapshot-crds”目录下的卷快照CRD资源。

node参数配置说明

node配置项用于配置huawei-csi-node组件的相关配置。

表 3 node配置项说明

- key: "node.kubernetes.io/memory-pressure"
  operator: "Exists"
  effect: "NoExecute"
- key: "node.kubernetes.io/disk-pressure"
  operator: "Exists"
  effect: "NoExecute"
- key: "node.kubernetes.io/network-unavailable"
  operator: "Exists"
  effect: "NoExecute"

/var/lib/kubelet/plugins/kubernetes.io/csi/{kubeletVolumeDevicesDirName}/publish/{specName}/{podUID}

csiDriver参数配置说明

csiDriver配置项包括了华为CSI运行时的基本配置，如华为驱动名称、多路径类型等配置信息。

表 4 csiDriver配置项说明

如果您的容器环境已经部署了华为CSI，请确保csiDriver.driverName的设置和之前部署时的配置保持一致。否则会导致系统中已存在的有华为CSI发放的卷/快照无法被新部署的华为CSI管理。

其他参数配置说明

其他配置项包括了CSI插件某些特性的开关或者镜像获取策略。

表 5 其他配置项说明

请确保此kubernetes.namespace填入的命名空间在Kubernetes上已经存在，如果不存在请使用如下命令创建对应的命名空间。本例中，华为CSI运行的命名空间为“huawei-csi”。

kubectl create namespace huawei-csi

5.2.2 - 手动安装华为CSI

本章节介绍如何手动安装华为CSI。

手动安装华为CSI当前仅支持Kubernetes平台。

安装步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录集群的任意master节点。

2. 将Kubernetes CSI组件包中的"manual"目录拷贝到master节点的任意目录下。

3. 执行命令创建一个命名空间。

   kubectl create ns huawei-csi
   

4. 进入到manual/esdk的工作目录下。具体路径请参见表 软件包组件描述。

   cd manual/esdk
   

5. 执行命令，更新存储后端CRD

   kubectl apply -f ./crds/backend/
   

6. （可选） 请务必按照检查卷快照依赖组件章节检查快照依赖组件，确认无误后执行执行命令更新快照CRD，如果Kubernetes版本低于v1.17，跳过本步骤。

   kubectl apply -f ./crds/snapshot-crds/ --validate=false
   

7. （可选） 执行命令安装CSIDriver。如果不使用CSIDriver特性，可跳过本步骤，详情请参考CSIDriver特性。

   kubectl apply -f ./deploy/csidriver.yaml 
   

8. 执行命令安装huawei-csi-controller服务。如果Kubernetes版本低于v1.17，删除名称为csi-snapshotter和snapshot-controller的容器，并根据检查CSI依赖的镜像中的版本要求，修改其它容器镜像版本。

   kubectl apply -f ./deploy/huawei-csi-controller.yaml
   

9. 执行命令安装huawei-csi-node服务。

   kubectl apply -f ./deploy/huawei-csi-node.yaml 
   

10. 执行命令检查服务是否启动。

    kubectl get pod -n huawei-csi
    

    回显示例如下，Pod状态为“Running“则安装成功。

    NAME                                     READY   STATUS    RESTARTS   AGE
    huawei-csi-controller-68745d489c-v5xkj   9/9     Running   0          13m
    huawei-csi-node-4hbqp                    3/3     Running   0          13m
    huawei-csi-node-f7dkf                    3/3     Running   0          13m
    huawei-csi-node-xrntc                    3/3     Running   0          13m
    

多副本controller部署场景下可以通过修改 ./deploy/huawei-csi-controller.yaml 文件中Deployment资源的spec.replica字段来指定副本个数，修改完成后，执行以下命令生效：

kubectl apply -f ./deploy/huawei-csi-controller.yaml

5.3 - 卸载华为CSI

本章节介绍如何卸载华为CSI。根据您安装时的方式，请使用不同的方式进行卸载。

如果您不是出于升级的目的卸载华为CSI，请确保卸载华为CSI前已经在您的容器平台中将华为CSI发放的资源（PV、PVC、快照、存储后端等）全部清理。否则一旦您卸载华为CSI后，这些资源将无法被自动调度、管理或者清理。

5.3.1 - Helm卸载华为CSI

5.3.1.1 - Kubernetes、OpenShift、Tanzu卸载华为CSI

本章节介绍如何在Kubernetes、OpenShift、Tanzu平台卸载华为CSI。

操作步骤

1. 卸载huawei-csi-host-info对象使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载华为CSI，helm-huawei-csi 是自定义的Helm Chart名称，huawei-csi 是该Helm Chart所在的命名空间。该卸载命令将会卸载华为CSI的huawei-csi-controller、huawei-csi-node和RBAC资源。

   helm uninstall helm-huawei-csi -n huawei-csi
   

   卸载命令执行后，还需要检查卸载是否成功。其中，huawei-csi 为chart所在的命名空间。

   helm list -n huawei-csi
   

   命令结果示例如下，如果回显为空，则表示服务卸载成功。

   NAME    NAMESPACE       REVISION        UPDATED STATUS  CHART   APP VERSION
   

3. 卸载huawei-csi-host-info对象，请参考卸载huawei-csi-host-info对象进行操作。

4. 卸载webhook资源，请参考卸载Webhook资源进行操作。

5. （可选）卸载快照依赖组件服务，请参考卸载Snapshot依赖组件服务进行操作。

6. （可选）卸载Lease资源，请参考卸载Lease资源进行操作。

5.3.1.2 - CCE和CCE Agile卸载华为CSI

本章节介绍如何在CCE / CCE Agile平台卸载华为CSI，以CCE Agile v22.3.2为例。

操作步骤

1. 登录CCE Agile平台。

2. 在主页单击“模板市场> 模板实例 ”，进入模板实例页面。

3. 选择华为CSI模板实例，单击“卸载”，在弹出的提示框中单击“确定”。

   

4. 卸载huawei-csi-host-info对象，请参考卸载huawei-csi-host-info对象进行操作。

5. 卸载webhook资源，请参考卸载Webhook资源进行操作。

6. （可选）卸载快照依赖组件服务，请参考卸载Snapshot依赖组件服务进行操作。

5.3.1.3 - 卸载CSI依赖组件服务

本章节介绍如何卸载CSI依赖组件服务。

卸载huawei-csi-host-info对象

名称为huawei-csi-host-info的Secret对象中保存着集群中各个节点的启动器信息，例如iSCSI启动器。使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载Secret对象，其中huawei-csi-host-info是Secret对象的名称，huawei-csi是Secret对象所在的命名空间。

   kubectl delete secret huawei-csi-host-info -n huawei-csi
   

3. 执行以下命令检查Secret对象是否卸载成功。

   kubectl get secret huawei-csi-host-info -n huawei-csi 
   

   命令结果示例如下，如果命令回显提示“NotFound”表示huawei-csi-host-info对象已成功卸载。

   Error from server (NotFound): secrets "huawei-csi-host-info" not found
   

卸载Webhook资源

名称为storage-backend-controller.xuanwu.huawei.io的webhook资源用于校验Backend的秘钥信息和与存储的连通性，使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，查询webhook依赖组件服务。

   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

   命令结果如下。

   NAME                                          WEBHOOKS   AGE
   storage-backend-controller.xuanwu.huawei.io   1          12d
   

3. 执行以下命令，卸载webhook依赖组件服务。

   kubectl delete validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

4. 执行以下命令，检查服务是否已成功卸载。如果结果为空，表示已成功卸载。

   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

卸载Snapshot依赖组件服务

• 请勿在存在快照时卸载Snapshot依赖组件服务，否则Kubernetes会自动删除所有的用户快照且无法恢复，请谨慎操作。详细说明请参见删除 CustomResourceDefinition。
• 请勿在CSI升级时卸载Snapshot依赖组件服务。

场景说明

• 当前华为CSI使用了快照特性。
• 当前Kubernetes集群仅存在华为CSI，且不再使用华为CSI。
• 在卸载前请确保在Kubernetes集群中已经没有华为CSI管理的VolumeSnapshot资源。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，卸载Snapshot依赖组件服务。

   kubectl delete crd volumesnapshotclasses.snapshot.storage.k8s.io volumesnapshotcontents.snapshot.storage.k8s.io volumesnapshots.snapshot.storage.k8s.io
   

3. 执行以下命令，检查服务是否已成功卸载。如果结果为空，表示已成功卸载。

   kubectl get crd | grep snapshot.storage.k8s.io
   

卸载Lease资源

values.yaml文件中controller.controllerCount配置项的值大于1时，huawei-csi-controller将使用多副本部署，huawei-csi-controller服务的多副本使用Kubernetes的LeaderElection机制实现，该机制会创建Lease对象用于保存当前Holder信息。使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤，若controller.controllerCount配置项的值等于1是时，可跳过本步骤。配置项描述可参考表 controller配置项说明。

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，查询Lease信息。

   kubectl get lease -n huawei-csi
   

   命令结果示例如下。

   NAME                                         HOLDER    AGE
   csi-huawei-com                               node-1    24d
   external-attacher-leader-csi-huawei-com      node-1    24d
   external-resizer-csi-huawei-com              node-1    24d
   external-snapshotter-leader-csi-huawei-com   node-1    24d
   snapshot-controller-leader                   node-1    24d
   storage-backend-controller                   node-1    24d
   huawei-csi-extender                          node-1    24d
   

3. 执行以下命令，卸载Lease资源。

   kubectl delete lease -n huawei-csi csi-huawei-com external-attacher-leader-csi-huawei-com external-resizer-csi-huawei-com external-snapshotter-leader-csi-
   

4. 执行以下命令，检查是否已成功卸载。

   kubectl get lease -n huawei-csi
   

   命令结果示例如下，如果结果为空，表示已成功卸载。

   No resources found in huawei-csi namespace.
   

5.3.2 - 手动卸载华为CSI

本章节介绍如何手动卸载华为CSI。

如果您不是出于升级的目的卸载华为CSI，请确保卸载华为CSI前已经在您的容器平台中将华为CSI发放的资源（PV、PVC、快照、存储后端等）全部清理。否则一旦您卸载华为CSI后，这些资源将无法被自动调度、管理或者清理。

卸载huawei-csi-node服务

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载 huawei-csi-node 服务，huawei-csi 替换为华为CSI所在的命名空间。

   kubectl delete daemonset huawei-csi-node -n huawei-csi
   

3. 执行以下命令检查服务是否已成功卸载（如果提示NotFound错误，表示已成功卸载）。

   kubectl get daemonset huawei-csi-node -n huawei-csi
   

卸载huawei-csi-controller服务

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载 huawei-csi-controller 服务，huawei-csi 替换为华为CSI所在的命名空间。

   kubectl delete deployment huawei-csi-controller -n huawei-csi
   

3. 执行以下命令检查服务是否已成功卸载（如果提示NotFound错误，表示已成功卸载）。

   kubectl get deployment huawei-csi-controller -n huawei-csi
   

卸载csidriver对象

如果安装时未使用CSIDriver特性，可跳过本步骤。

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载csidriver对象。

   kubectl delete csidriver csi.huawei.com
   

3. 执行以下命令检查服务是否已成功卸载（如果提示NotFound错误，表示已成功卸载）。

   kubectl get csidriver csi.huawei.com
   

删除RBAC权限

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 删除RBAC权限。

   kubectl -n huawei-csi -l provisioner=csi.huawei.com delete ServiceAccount,Service,role,rolebinding,ClusterRole,ClusterRoleBinding
   

其它资源卸载

1. 卸载huawei-csi-host-info对象，请参考卸载huawei-csi-host-info对象进行操作。
2. 卸载webhook资源，请参考卸载Webhook资源进行操作。
3. （可选）卸载快照依赖组件服务，请参考卸载Snapshot依赖组件服务进行操作。
4. （可选）卸载Lease资源，请参考卸载Lease资源进行操作。

5.4 - 升级/回退华为CSI

本章节介绍如何升级/回退华为CSI。

当前版本华为CSI添加了资源请求和限制，具体详情请参考华为CSI资源管理。

5.4.1 - 使用Helm升级/回退华为CSI

如果您从2.x版本升级至4.5.0版本，请参考旧版本用户指南卸载CSI，然后参考使用Helm安装华为CSI章节安装华为CSI。

如果您从2.x或3.x版本升级至4.5.0版本，请参考从2.x或3.x升级至4.x版本章节升级华为CSI。

如果您从4.x版本升级至4.5.0版本，请参考Kubernetes、OpenShift、Tanzu升级华为CSI章节升级华为CSI。

5.4.1.1 - 升级华为CSI

本章节介绍如何升级华为CSI。

升级/回退过程中，已经存在的PVC/快照/Pod等资源会正常运行，不会影响您的业务访问。

• 部分2.x版本CSI已经下架，若升级失败，可能无法回退到已下架版本的CSI。
• 从2.x或3.x版本或4.x版本升级至4.5.0版本，可能存在旧版本已发放Pod重新挂载时失败的问题，具体请参考从2.x或3.x升级至4.x版本
• 在升级/回退过程中，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。
• 在升级/回退过程中，请勿卸载Snapshot依赖组件服务。

5.4.1.1.1 - 从2.x或3.x升级至4.x版本

在CSI 2.x或3.x 版本中，使用块存储时，与存储建立映射的操作是在huawei-csi-node服务进行的，所以huawei-csi-node服务需要和存储管理网络通信。又由于huawei-csi-node服务是以DaemonSet部署的，在集群中每个节点都会部署一个huawei-csi-node服务，这样部署模型导致了在大规模集群下，每个huawei-csi-node服务都会向存储发起请求，可能导致存储连接数被占满，使得huawei-csi-node不能提供正常服务。 在CSI 4.x版本优化了该部署模型，将与存储建立映射操作迁移至huawei-csi-controller服务，huawei-csi-node服务不再需要和存储管理网络通信，降低了华为CSI依赖的组网复杂度，同时huawei-csi-controller服务以Deployment形式部署，副本数根据客户可靠性要求设置，一般情况下，副本数为1~3。所以极大的减少了华为CSI与存储的连接数量，使得华为CSI服务能够接入大规模集群。 该架构变化可能会导致一个问题：升级后，使用2.x或3.x发放的工作负载，升级CSI至4.x版本之后，如果产生了一次新的挂载流程，并且CO（Container Orchestration system）未调用华为CSI提供的huawei-csi-controller服务，会导致挂载失败。问题请参考创建Pod失败，Events日志显示“publishInfo doesn’t exist”。

备份存储后端配置

如果您已按照以上须知评估风险后，确认需要从2.x或3.x版本的CSI升级至4.5.0版本，请按照以下操作步骤备份存储后端配置：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令备份后端信息到configmap.json文件中。OpenShift平台使用oc替换kubectl命令。

   kubectl get cm huawei-csi-configmap -n huawei-csi -o json > configmap.json
   

升级华为CSI

请按照升级华为CSI中的步骤进行升级。

配置存储后端

请将备份存储后端配置中备份的后端信息，按照管理存储后端章节的说明配置存储后端，存储后端配置成功后，请务必按照以上须知所述的风险处理方法进行操作，避免Pod在漂移过程中出现问题。

5.4.1.1.2 - Kubernetes、OpenShift、Tanzu升级华为CSI

前提条件

• 旧版本华为CSI使用Helm安装。
• 新版本华为CSI镜像已制作完成，并且按照上传华为CSI镜像章节说明，上传到镜像仓库或者导入到所有节点。

升级华为CSI

如果您旧版本CSI使用Helm部署，请按照以下操作步骤升级华为CSI。

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 将目标版本CSI组件包拷贝到master节点的任意目录下。

3. 进入到helm/esdk的工作目录下，目录路径请参见表 软件包组件描述。

   cd helm/esdk
   

4. 执行kubectl apply -f ./crds/backend/命令，更新存储后端CRD

   kubectl apply -f ./crds/backend/
   

5. （可选） 请务必按照检查卷快照依赖组件章节检查快照依赖组件，确认无误后执行执行kubectl apply -f ./crds/snapshot-crds/ –validate=false命令更新快照CRD，如果controller.snapshot.enabled参数设置为false或Kubernetes版本低于v1.17，可跳过本步骤，详情请参考表 controller配置项说明。

   kubectl apply -f ./crds/snapshot-crds/ --validate=false
   

6. 执行以下命令，获取原有服务配置文件。其中helm-huawei-csi为旧版本安装时指定的Helm Chart名称，huawei-csi为旧版本安装时指定的Helm Chart命名空间。

   helm get values helm-huawei-csi -n huawei-csi -a > ./update-values.yaml
   

7. 执行vi update-values.yaml命令打开6中获取的文件，修改images配置项，更新镜像至最新版本。需要修改的参数请参考表 images配置项。

   表 1 images配置项

   参数	描述	修改为
   images.huaweiCSIService	huawei-csi镜像。	huawei-csi:4.5.0
   images.storageBackendSidecar	华为后端管理storageBackendContent资源的镜像	storage-backend-sidecar:4.5.0
   images.storageBackendController	华为后端管理storageBackendClaim资源的镜像。	storage-backend-controller:4.5.0
   images.huaweiCSIExtender	huawei-csi-extender镜像	huawei-csi-extender:4.5.0
   images.sidecar.livenessProbe	livenessprobe sidecar镜像。	k8s.gcr.io/sig-storage/livenessprobe:v2.5.0
   images.sidecar.provisioner	csi-provisioner sidecar镜像。	k8s.gcr.io/sig-storage/csi-provisioner:v3.0.0
   images.sidecar.attacher	csi-attacher sidecar镜像。	k8s.gcr.io/sig-storage/csi-attacher:v3.4.0
   images.sidecar.resizer	csi-resizer sidecar镜像。	k8s.gcr.io/sig-storage/csi-resizer:v1.4.0
   images.sidecar.snapshotter	csi-snapshotter sidecar镜像。	k8s.gcr.io/sig-storage/csi-snapshotter:v4.2.1
   images.sidecar.snapshotController	snapshot-controller sidecar镜像。	k8s.gcr.io/sig-storage/snapshot-controller:v4.2.1
   images.sidecar.registrar	csi-node-driver-registrar sidecar镜像。	k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.3.0

8. （可选）在升级过程中如需自定义更新配置项信息或者需要新增配置信息，可参考Helm values.yaml参数说明修改update-values.yaml文件中配置信息。

   升级时，如果update-values.yaml与values.yaml配置文件中存在相同配置项，update-values.yaml中的配置将会优先生效。

9. 执行以下命令，升级华为CSI。其中helm-huawei-csi为指定的Helm Chart名称，huawei-csi为指定的Helm Chart命名空间，update-values.yaml为步骤6中获取的文件。

   helm upgrade helm-huawei-csi ./ -n huawei-csi -f ./values.yaml -f ./update-values.yaml
   

10. 完成huawei-csi服务部署后，执行命令检查服务是否启动。

    kubectl get pod -n huawei-csi
    

    命令结果示例如下，Pod状态为“Running“表明服务启动成功。

    NAME                                     READY   STATUS    RESTARTS   AGE
    huawei-csi-controller-6dfcc4b79f-9vjtq   9/9     Running   0          24m
    huawei-csi-controller-6dfcc4b79f-csphc   9/9     Running   0          24m
    huawei-csi-node-g6f4k                    3/3     Running   0          20m
    huawei-csi-node-tqs87                    3/3     Running   0          20m
    

5.4.1.1.3 - CCE和CCE Agile升级华为CSI

前提条件

已下载新版本CSI的软件包。

操作步骤

1. 参考CCE和CCE Agile卸载华为CSI卸载CSI。
2. 参考CCE和CCE Agile平台安装华为CSI安装新版本的CSI。

5.4.1.2 - 回退华为CSI

如果您从2.x和3.x版本的CSI升级至4.5.0版本失败，需要回退时，请参考Helm卸载华为CSI卸载CSI，然后下载安装升级之前版本的CSI。

• 在升级/回退过程中，已经存在的PVC/快照/Pod等资源会正常运行，不会影响您的业务访问。
• 在升级/回退过程中，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。
• 在升级/回退过程中，请勿卸载Snapshot依赖组件服务。

5.4.1.2.1 - Kubernetes、OpenShift、Tanzu回退华为CSI

前提条件

• 已使用Helm 3完成CSI的更新。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 进入到helm/esdk的工作目录下，目录路径请参见表 软件包组件描述。

   cd helm/esdk
   

3. 执行命令，查看Helm部署CSI服务的历史版本。

   helm history helm-huawei-csi -n huawei-csi 
   

   命令结果示例如下。

   REVISION        UPDATED                         STATUS          CHART           APP VERSION     DESCRIPTION     
   1       	Mon Jan  8 04:15:40 2024	superseded	esdk-4.4.0	4.4.0      	Install complete
   2       	Mon Jan  8 04:16:12 2024	deployed  	esdk-4.5.0	4.5.0      	Upgrade complete
   

4. 执行命令，回退CSI服务到指定版本。

   其中，revision-number为3查询到的版本号。例如版本为：1。

   helm rollback helm-huawei-csi -n huawei-csi 1
   

   命令结果示例如下，回显中有Rollback was a success，则表示回退CSI服务到指定版本成功。

   Rollback was a success! Happy Helming!
   

5.4.1.2.2 - CCE和CCE Agile回退华为CSI

• 在升级/回退过程中，已经存在的PVC/快照/Pod等资源会正常运行，不会影响您的业务访问。
• 在升级/回退过程中，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。
• 在升级/回退过程中，请勿卸载Snapshot依赖组件服务。

前提条件

已下载原版本CSI的软件包。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
2. 参考操作步骤卸载CSI。
3. 参考CCE和CCE Agile平台安装华为CSI重新安装原版本的CSI。

5.4.2 - 手动升级/回退

5.4.2.1 - 升级华为CSI

本章节介绍如何手动升级华为CSI。

升级/回退过程中，已经存在的PVC/快照/Pod等资源会正常运行，不会影响您的业务访问。

• 部分2.x版本CSI已经下架，若升级失败，可能无法回退到已下架版本的CSI。
• 在升级/回退过程中，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。
• 在升级/回退过程中，请勿卸载Snapshot依赖组件服务。

2.x和3.x版本的CSI升级至4.5.0版本

如果您从2.x和3.x版本的CSI升级至4.5.0版本，请按照以下操作步骤升级：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行命令备份后端信息到configmap.json文件中。OpenShift平台使用oc替换kubectl命令。

   kubectl get cm huawei-csi-configmap -n huawei-csi -o json > configmap.json
   

3. 参考手动卸载华为CSI卸载CSI。

4. 参考手动安装华为CSI安装当前版本的CSI。

5. 将2中备份的后端信息，按照管理存储后端章节的说明安装。

从4.x版本的CSI升级至4.5.0版本。

如果您从4.x版本的CSI升级至4.5.0版本，请按照以下操作步骤升级：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
2. 参考手动卸载华为CSI卸载CSI。
3. 参考手动安装华为CSI安装当前版本的CSI。

5.4.2.2 - 回退华为CSI

请参考手动卸载华为CSI卸载CSI，然后下载安装升级之前版本的CSI。

• 在升级/回退过程中，已经存在的PVC/快照/Pod等资源会正常运行，不会影响您的业务访问。
• 在升级/回退过程中，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。
• 在升级/回退过程中，请勿卸载Snapshot依赖组件服务。

前提条件

已下载原版本CSI的软件包。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
2. 参考手动卸载华为CSI卸载CSI。
3. 参考手动安装华为CSI重新安装原版本的CSI。

6 - 存储后端管理

后端是华为存储资源的抽象概念，每台华为存储设备可以通过租户/存储池/协议等特性抽象出多个后端资源，每个后端独立存在，其中定义了为Kubernetes集群供应持久卷时所需要的华为存储信息。

本章节用于描述使用oceanctl工具管理存储后端，包括后端的创建/查询/更新/删除操作

oceanctl工具说明

• 获取oceanctl工具，将oceanctl工具拷贝到环境目录下,例如（/usr/local/bin），且赋予可执行权限，oceanctl工具位于软件包/bin/oceanctl。
• oceanctl工具依赖kubectl（Kubernetes平台）或oc（OpenShift平台）命令，因此需要在可执行kubectl或oc命令的节点运行。
• 默认情况下，执行oceanctl命令的用户需要有/var/log目录的读写权限。如果没有该目录权限，可通过“–log-dir=/path/to/custom”指定有权限目录作为日志文件目录。
• oceanctl创建后端的命名空间默认为huawei-csi。
• oceanctl命令详细说明请参考oceanctl命令说明。

6.1 - 管理存储后端

本章节介绍如何创建存储后端，当前支持根据配置的后端yaml文件和导出的configmap.json文件两种方式创建后端。

如果通过新增后端yaml文件创建后端，请参考典型场景存储后端配置文件示例章节配置后端文件。

如果已存在导出的configmap.json文件，请参考创建存储后端章节创建存储后端。

6.1.1 - 创建存储后端

1. 使用oceanctl创建存储后端时，输入的账号和秘钥信息保存在Secret对象中，建议客户容器平台根据供应商或者K8s社区的建议自行对Secret进行加密。K8s社区对Secret加密可参考启用静态加密。
2. 通过json文件创建后端时，旧版本的backend名称中可能存在大写字母或"_“字符。如果出现这种情况，旧的名称将会被重映射为一个新的名称，映射过程自动发生，不会影响原有功能。例如“ABC_123”将会被映射为“abc-123-fd68e”，具体映射规则如下：

• 大写字母转换成小写字母。
• “_“字符转换成“-”字符。
• 末尾追加5位Hash码。

3. 当存储后端对接租户时，在存储后端创建完成后，不允许修改租户名称。

创建后端步骤

1. 参考典型场景存储后端配置文件示例章节准备后端配置文件，如backend.yaml，若需创建多个后端，请使用’”—“分隔。

   storage: "oceanstor-san"
   name: "backend-1"
   namespace: "huawei-csi"
   urls:
     - "https://192.168.129.157:8088"
   pools:
     - "StoragePool001"
   parameters:
     protocol: "roce"
     portals:
       - "10.10.30.20"
       - "10.10.30.21"
   maxClientThreads: "30"
   ---
   storage: "oceanstor-san"
   name: "backend-2"
   namespace: "huawei-csi"
   urls:
     - "https://192.168.129.158:8088"
   pools:
     - "StoragePool001"
   parameters:
     protocol: "roce"
     portals:
       - "10.10.30.20"
       - "10.10.30.21"
   maxClientThreads: "30"
   

2. 执行以下命令创建存储后端。

   oceanctl create backend -f /path/to/backend.yaml -i yaml
   

   命令结果如下：

   NUMBER  CONFIGURED    NAME        STORAGE              URLS                
   1       false         backend-1   oceanstor-san        https://192.168.129.157:8088 
   2       false         backend-2   oceanstor-san        https://192.168.129.158:8088 
   Please enter the backend number to configure (Enter 'exit' to exit):
   

3. 输入待创建后端序号，并输入账号密码。

   Please enter the backend number to configure (Enter 'exit' to exit):1
   Please enter this backend user name:admin
   Please enter this backend password:
   
   Backend backend-1 is configured
   NUMBER  CONFIGURED    NAME         STORAGE              URLS               
   1       true          backend-1    oceanstor-san        https://192.168.129.157:8088 
   2       false         backend-2    oceanstor-san        https://192.168.129.158:8088 
   Please enter the backend number to configure (Enter 'exit' to exit):
   

4. 检查存储后端创建结果。

   oceanctl get backend
   

   命令结果示例如下，后端状态为“Bound“则创建成功：

   NAMESPACE     NAME         PROTOCOL    STORAGETYPE      SN                    STATUS  ONLINE  URL                 
   huawei-csi    backend-1    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.157:8088   
   huawei-csi    backend-2    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.158:8088   
   

6.1.1.1 - 典型场景存储后端配置文件示例

典型场景的backend配置请参考下列示例，详细的参数配置请参考存储后端配置项说明。

• 配置iSCSI协议类型的存储后端
• 配置FC协议类型的存储后端
• 配置NVMe over RoCE协议类型的存储后端
• 配置NVMe over FC协议类型的存储后端
• 配置NFS协议类型的存储后端
• 配置SCSI协议类型的存储后端
• 配置DPC协议类型的存储后端
• 配置Dtree类型的存储后端
• 配置双活类型的存储后端

配置iSCSI协议类型的存储后端

如果要使用iSCSI协议类型，请确保在安装华为CSI前，主机上已安装iSCSI客户端，可通过检查主机依赖软件状态章节检查。如未安装iSCSI客户端，请在安装iSCSI客户端之后重启huawei-csi-node服务，重启期间，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。参考命令如下：

kubectl delete pods -n huawei-csi -l app=huawei-csi-node

企业存储配置iSCSI协议类型的后端配置文件示例如下：

storage: "oceanstor-san"
name: "dorado-iscsi-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "iscsi"
  portals:
    - "192.168.128.120"                
    - "192.168.128.121"
maxClientThreads: "30"

分布式存储配置iSCSI协议类型的后端配置文件示例如下：

storage: "fusionstorage-san"
name: "pacific-iscsi-125"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.125:8088"
  - "https://192.168.129.126:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "iscsi"
  portals:
    - "192.168.128.122"
    - "192.168.128.123"
maxClientThreads: "30"

配置FC协议类型的存储后端

如果要使用FC协议类型，请确保在安装华为CSI前，主机和存储的FC网络已联通，如未FC网络未打通，请在打通FC网络之后重启huawei-csi-node服务，重启期间，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。参考命令如下：

kubectl delete pods -n huawei-csi -l app=huawei-csi-node

企业存储配置FC协议类型的后端配置文件示例如下：

storage: "oceanstor-san"
name: "fc-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "fc"
maxClientThreads: "30"

配置NVMe over RoCE协议类型的存储后端

如果要使用NVMe over RoCE协议类型，请确保在安装华为CSI前，主机和存储的NVMe over RoCE网络已联通，如未NVMe over RoCE网络未打通，请在打通NVMe over RoCE网络之后重启huawei-csi-node服务，重启期间，不能使用华为CSI创建新的资源，或者对已有的PVC做挂载/卸载操作。参考命令如下：

kubectl delete pods -n huawei-csi -l app=huawei-csi-node

企业存储配置NVMe over RoCE协议类型的后端配置文件示例如下：

storage: "oceanstor-san"
name: "roce-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "roce"
  portals:
    - "192.168.128.120"        
    - "192.168.128.121"
maxClientThreads: "30"

配置NVMe over FC协议类型的存储后端

企业存储配置NVMe over FC协议类型的后端配置文件示例如下：

storage: "oceanstor-san"
name: "fc-nvme-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "fc-nvme"
maxClientThreads: "30"

配置NFS协议类型的存储后端

企业存储配置NFS协议类型的后端配置文件示例如下：

storage: "oceanstor-nas"
name: "nfs-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "nfs"
  portals:        
    - "192.168.128.155"
maxClientThreads: "30"

分布式存储配置NFS协议类型的后端配置文件示例如下：

storage: "fusionstorage-nas"
name: "nfs-126"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.125:8088"
  - "https://192.168.129.126:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "nfs"
  portals:
    - "192.168.128.123"
maxClientThreads: "30"

配置SCSI协议类型的存储后端

分布式存储配置SCSI协议类型的后端配置文件示例如下：

storage: "fusionstorage-san"
name: "scsi-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
pools:
  - "StoragePool001"
parameters:
  protocol: "scsi"
  portals:
    - {"hostname01": "192.168.125.21","hostname02": "192.168.125.22"}
maxClientThreads: "30"

配置DPC协议类型的存储后端

分布式存储配置DPC协议类型的后端配置文件示例如下：

storage: "fusionstorage-nas"
name: "dpc-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
parameters:      
  protocol: "dpc"
maxClientThreads: "30"

配置Dtree类型的存储后端

企业存储配置Dtree类型后端配置文件示例如下：

storage: "oceanstor-dtree"
name: "nfs-dtree"
namespace: "huawei-csi"
urls:
- "https://192.168.129.155:8088"
parameters:
  protocol: "nfs"
  parentname: "parent-filesystem"  
  portals:
    - "192.168.128.155"
maxClientThreads: "30"

配置双活类型的存储后端

• 配置NAS双活前，需要在两台存储设备之间配置双活关系，包含远端设备、双活域等，仅支持文件系统双活域工作模式为双活AA模式，配置操作请参考对应存储型号的产品文档。
• 对接NAS双活后端的账号必须为存储租户的租户管理员账号。
• 除NAS双活后端外，其他后端的管理URL不能配置为在已建立双活关系的租户的逻辑管理端口的URL。
• 使用双活类型的存储后端时，请勿发放普通文件系统。否则，在逻辑端口漂移场景下，有业务中断的风险。

CSI支持在对接OceanStor或OceanStor Dorado，并在存储侧发放NFS类型的双活卷时。需要配置互为双活的存储后端，具体操作为分别创建两个配置文件，逐一创建后端。

本示例展示了如何为华为OceanStor或OceanStor Dorado存储配置双活类型的后端。首先创建本端的存储后端配置文件nfs-hypermetro-155.yaml：

storage: "oceanstor-nas"
name: "nfs-hypermetro-155"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.155:8088"
  - "https://192.168.129.156:8088"
pools:
  - "StoragePool001"
metrovStorePairID: "f09838237b93c000"
metroBackend: "nfs-hypermetro-157"
parameters:
  protocol: "nfs"
  portals:
    - "192.168.129.155"
maxClientThreads: "30"

创建本端后端完成后，创建远端的存储后端配置文件nfs-hypermetro-157.yaml：

storage: "oceanstor-nas"
name: "nfs-hypermetro-157"
namespace: "huawei-csi"
urls:
  - "https://192.168.129.157:8088"
  - "https://192.168.129.158:8088"
pools:
  - "StoragePool001"
metrovStorePairID: "f09838237b93c000"
metroBackend: "nfs-hypermetro-155"
parameters:
  protocol: "nfs"
  portals:
    - "192.168.129.157"
maxClientThreads: "30"

6.1.1.2 - 存储后端配置项说明

后端配置文件样例模板为/examples/backend/backend.yaml，该文件为一个示例文件，具体配置项如下表所示：

表 1 backend配置项说明

6.1.2 - 查询存储后端

请参考查询存储后端节，使用oceanctl命令查询存储后端信息。

6.1.3 - 更新存储后端

• 当前使用oceanctl更新存储后端信息时，仅支持更新存储后端密码。
• 若在存储侧更新了后端的账号密码，CSI插件会因登录失败而重试，可能会导致账号被锁定。如果账号被锁定，请参考存储侧更新密码后账户被锁定章节修改。

6.1.3.1 - oceanctl更新存储后端密码

更新后端示例

1. 执行以下命令获取更新存储后端帮助。

   oceanctl update backend -h
   

   命令结果如下：

   Update a backend for Ocean Storage in Kubernetes
   
   Usage:
     oceanctl update backend <name> [flags]
   
   Examples:
     # Update backend account information in default(huawei-csi) namespace
     oceanctl update backend <name>  --password
   
     # Update backend account information in specified namespace
     oceanctl update backend <name> -n namespace --password
   
   Flags:
     -h, --help               help for backend
     -n, --namespace string   namespace of resources
         --password           Update account password
   

2. 执行以下命令更新存储后端信息。

   oceanctl update backend backend-1 --password
   

   根据提示输入新的用户名和密码：

   Please enter this backend user name:admin
   Please enter this backend password:
   
   backend/backend-1 updated
   

6.1.3.2 - 手动更新存储后端

• PVC发放需要基于已配置的存储后端，因此当存储后端已经发放PVC时，请勿随便修改存储后端。
• 名称是存储后端的唯一标识，已发放PVC的存储后端不允许修改名称。
• 存储后端修改后，新增配置仅作用于新发放的卷。
• 存储后端修改期间，请勿执行卷管理操作。

操作步骤

1. 参考删除存储后端章节，删除待修改存储后端。
2. 参考创建存储后端章节，创建同名存储后端，存储后端名称不可变更。

6.1.4 - 删除存储后端

正在执行卷管理操作期间，请勿删除存储后端。

删除后端示例

1. 执行以下命令获取存储后端。

   oceanctl get backend 
   

   命令结果示例如下：

   NAMESPACE     NAME         PROTOCOL    STORAGETYPE      SN                    STATUS  ONLINE  URL                 
   huawei-csi    backend-1    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.157:8088   
   huawei-csi    backend-2    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.158:8088  
   

2. 执行以下命令删除指定存储后端。

   oceanctl delete backend backend-1
   

3. 执行以下命令检查删除结果。

   oceanctl get backend backend-1
   

   命令结果示例如下，如果回显为“not found”则删除成功。

   Error from server (NotFound): backend "backend-1" not found
   

6.2 - 新增证书到存储后端（可选）

本章节介绍如何创建证书到存储后端，如果有对服务登录存储添加证书校验的需要，可以参考本章节新增证书，当前支持根据crt文件或者pem文件创建证书到存储后端。

创建证书到存储后端前，须提前将准备好的证书导入存储阵列。

6.2.1 - 创建证书到存储后端

前提条件

完成证书制作。以OceanStor Dorado为例，证书制作过程请参考：点此前往。

创建证书示例

1. 提前准备好证书文件，如cert.crt。

2. 执行以下命令获取存储后端。

   oceanctl get backend  
   

   命令结果示例如下。

   NAMESPACE     NAME         PROTOCOL    STORAGETYPE      SN                    STATUS  ONLINE  URL                 
   huawei-csi    backend-1    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.157:8088   
   huawei-csi    backend-2    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.158:8088  
   

3. 执行以下命令为指定存储后端创建证书。

   oceanctl create cert cert-1 -b backend-1 -f /path/to/cert.crt
   

4. 检查证书创建结果。

   oceanctl get cert -b backend-1
   

   命令结果示例如下。

   NAMESPACE    NAME    BOUNDBACKEND   
   huawei-csi   cert-1  backend-1 
   

6.2.2 - 查询存储后端证书

请根据查询存储后端证书所示命令对存储后端证书进行查询。

6.2.3 - 更新存储后端证书

更新证书前请准备好新的证书文件，并参考本章节更新存储后端证书。如果不再使用证书，请参考删除存储后端证书章节移除存储后端上的证书。

更新证书步骤

1. 执行以下命令获取存储后端。

   oceanctl get backend 
   

   命令结果示例如下。

   NAMESPACE     NAME         PROTOCOL    STORAGETYPE      SN                    STATUS  ONLINE  URL                 
   huawei-csi    backend-1    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.157:8088   
   huawei-csi    backend-2    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.158:8088  
   

2. 执行以下命令查看指定存储后端是否存在证书。

   oceanctl get cert -b backend-1
   

   命令结果示例如下。

   NAMESPACE   NAME    BOUNDBACKEND    
   huawei-csi  cert-1  backend-1  
   

3. 执行以下命令更新指定存储后端的证书。

   oceanctl update cert -b backend-1 -f /path/to/cert.crt
   

6.2.4 - 删除存储后端证书

删除证书步骤

1. 执行以下命令获取存储后端。

   oceanctl get backend  
   

   命令结果示例如下。

   NAMESPACE     NAME         PROTOCOL    STORAGETYPE      SN                    STATUS  ONLINE  URL                 
   huawei-csi    backend-1    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.157:8088   
   huawei-csi    backend-2    roce        oceanstor-san    xxxxxxxxxxxxxxxxxxxx  Bound   true    https://192.168.129.158:8088  
   

2. 执行以下命令获取指定存储后端的证书。

   oceanctl get cert -b backend-1
   

   命令结果示例如下。

   NAMESPACE   NAME    BOUNDBACKEND    
   huawei-csi  cert-1  backend-1  
   

3. 执行以下命令删除指定存储后端的证书。

   oceanctl delete cert -b backend-1
   

4. 检查删除结果。

   oceanctl get cert -b backend-1
   

   命令结果示例如下，如果回显为“no cert found”则删除成功。

   Error from server (NotFound): no cert found on backend backend-1 in huawei-csi namespace
   

6.3 - oceanctl命令说明

帮助说明

• 获取oceanctl帮助说明。

  oceanctl --help
  

• 查看oceanctl版本号。

  oceanctl version
  

• 指定自定义日志文件目录，以查看oceanctl版本号为例。

  oceanctl version --log-dir=/path/to/custom
  

创建存储后端

• 执行以下命令获取创建后端帮助。

  oceanctl create backend -h
  

• 执行以下命令根据指定的yaml文件创建存储后端。

  oceanctl create backend -f /path/to/backend.yaml -i yaml
  

• 执行以下命令根据指定的json文件创建存储后端，json文件仅支持通过json格式导出huawei-csi-configmap文件。

  oceanctl create backend -f /path/to/configmap.json -i json
  

• 执行以下命令在指定命名空间创建一个存储后端。

  oceanctl create backend -f /path/to/backend.yaml -i yaml -n <namespace>
  

• 执行以下命令创建存储后端，并忽略存储后端名称校验，例如大写和字符“_”，非必要请勿使用该命令。

  oceanctl create backend -f /path/to/backend.yaml -i yaml --not-validate-name
  

• 执行以下命令创建存储后端，并指定provisioner，其中“csi.oceanstor.com”是安装时指定的驱动名称，详情可以参考4。

  仅在CCE / CCE Agile平台创建后端时使用该命令。

  oceanctl create backend -f /path/to/backend.yaml  -i yaml --provisioner=csi.oceanstor.com
  

查询存储后端

• 执行以下命令获取查询后端帮助。

  oceanctl get backend -h
  

• 执行以下命令查询默认命名空间下单个存储后端。

  oceanctl get backend <backend-name>
  

• 执行以下命令查询指定命名空间下所有存储后端。

  oceanctl get backend -n <namespace>
  

• 执行以下命令格式化输出，当前支持json，yaml和wide。

  oceanctl get backend <backend-name> -o json
  

更新存储后端

• 执行以下命令获取更新后端帮助。

  oceanctl update backend -h
  

• 执行以下命令更新默认命名空间下指定存储后端信息。

  oceanctl update backend <backend-name> --password
  

• 执行以下命令更新指定命名空间存储后端信息。

  oceanctl update backend <backend-name> -n <namespace> --password
  

删除存储后端

• 执行以下命令获取删除后端帮助。

  oceanctl delete backend -h
  

• 执行以下命令删除默认命名空间下指定存储后端。

  oceanctl delete backend <backend-name> 
  

• 执行以下命令删除默认命名空间下所有存储后端。

  oceanctl delete backend  --all
  

• 执行以下命令删除指定命名空间下存储后端。

  oceanctl delete backend <backend-name...> -n <namespace>
  

创建存储后端证书

• 执行以下命令获取查询证书帮助。

  oceanctl create cert -h
  

• 执行以下命令根据指定的crt证书文件为默认命名空间单个存储后端创建证书。

  oceanctl create cert <name> -f /path/to/cert.crt -b <backend-name> 
  

• 执行以下命令根据指定的crt证书文件为指定命名空间单个存储后端创建证书。

  oceanctl create cert <name> -f /path/to/cert.crt -b <backend-name> -n <namespace>
  

• 执行以下命令根据指定的pem证书文件为指定命名空间单个存储后端创建证书。

  oceanctl create cert <name> -f /path/to/cert.pem -b <backend-name> -n <namespace>
  

查询存储后端证书

• 执行以下命令获取查询证书帮助。

  oceanctl get cert -h
  

• 执行以下命令查询默认命名空间指定存储后端的证书。

  oceanctl get cert -b <backend-name>
  

• 执行以下命令查询指定命名空间下指定存储后端的证书。

  oceanctl get cert -b <backend-name> -n <namespace>
  

更新存储后端证书

• 执行以下命令获取更新证书帮助。

  oceanctl update cert -h
  

• 执行以下命令根据指定的crt证书文件为默认命名空间指定存储后端更新证书。

  oceanctl update cert -b <backend-name> -f /path/to/cert.crt
  

• 执行以下命令根据指定的crt证书文件为指定命名空间指定存储后端更新证书。

  oceanctl update cert -b <backend-name> -n <namespace> -f /path/to/cert.crt
  

• 执行以下命令根据指定的pem证书文件为指定命名空间指定存储后端更新证书。

  oceanctl update cert -b <backend-name> -n <namespace> -f /path/to/cert.pem
  

删除存储后端证书

• 执行以下命令获取删除证书帮助。

  oceanctl delete cert -h
  

• 执行以下命令删除默认命名空间指定存储后端的证书。

  oceanctl delete cert -b <backend-name> 
  

• 执行以下命令删除指定命名空间指定存储后端的证书。

  oceanctl delete cert -b <backend-name> -n <namespace>
  

7 - 使用华为CSI

本章节主要介绍如何使用华为CSI对PV、快照的生命周期进行管理。

• 使用华为CSI进行卷管理操作期间，请勿删除存储后端。
• 在映射block卷时，华为CSI会自动创建创建主机、主机组、LUN组等这些卷映射需要的关联对象，以及映射视图。如果手动在存储上创建了这些对象，会影响华为CSI的映射逻辑，请确保在使用华为CSI映射卷前删除这些对象。

7.1 - PVC管理

根据业务的需求，容器中的文件需要在磁盘上进行持久化。当容器被重建或者重新分配至新的节点时，可以继续使用这些持久化数据。

为了可以将数据持久化到存储设备上，您需要在发放容器时使用持久卷（PersistentVolume，PV）以及持久卷申领（PersistentVolumeClaim，PVC）。

• PV：是Kubernetes集群中的一块存储，可以由管理员事先制备， 或者使用存储类（StorageClass）来动态制备。
• PVC：是用户对存储的请求。PVC会耗用 PV 资源。PVC可以请求特定的大小和访问模式 （例如，可以要求 PV能够以 ReadWriteOnce、ReadOnlyMany 或 ReadWriteMany 模式之一来挂载，参见访问模式）。

本章将介绍如何使用华为CSI对PV/PVC进行创建、扩容、克隆以及从快照创建PVC。

7.1.1 - 创建PVC

华为CSI支持在华为存储上创建存储资源（LUN/文件系统），并根据用户的设置供给容器使用。具体支持的特性请参考表 华为企业存储支持的特性及约束或者表 华为分布式存储支持的特性及约束。

创建PVC的方式分为动态卷供应和静态卷供应。

• 动态卷供应不需要事先创建PV，华为CSI会根据StorageClass自动在存储设备上创建PV所需要的资源。并且可以在创建PVC时同时创建PV。
• 静态卷供应需要管理员事先在存储设备上创建好所需要的资源，通过创建PV的方式使用已存在的资源。并且可以在创建PVC时指定关联的PV。

7.1.1.1 - 动态卷供应

动态卷供应（Dynamic Volume Provisioning）允许按需创建存储卷。动态卷供应依赖StorageClass对象。 集群管理员可以根据需要定义多个StorageClass对象，在声明PV或者PVC时，指定满足业务要求的StorageClass。华为CSI在从华为存储设备上申请资源时，会根据StorageClass的预置定义，创建满足业务要求的存储资源。

为了完成动态卷供应，需要完成如下两步：

• 配置StorageClass
• 配置PVC

配置StorageClass

1. 根据业务需要，参考动态卷供应典型场景StorageClass配置示例和动态卷供应StorageClass参数说明，创建StorageClass配置文件，如本例从的mysc.yaml文件。

2. 执行命令，使用配置文件创建StorageClass。

   kubectl apply -f mysc.yaml
   

3. 执行命令，查看已创建的StorageClass信息。

   kubectl get sc mysc
   

   命令结果示例如下：

   NAME   PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
   mysc   csi.huawei.com   Delete          Immediate           true                   8s
   

配置PVC

1. 根据业务需要，参考本节描述和PVC配置文件示例，修改具体参数，生成本次需要创建的PVC配置文件，如本例中mypvc.yaml文件。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: mypvc
   spec:
     accessModes:
       - ReadWriteOnce
     volumeMode: Filesystem
     storageClassName: mysc
     resources:
       requests:
         storage: 100Gi
   

2. 执行命令，使用配置文件创建PVC。

   kubectl create -f mypvc.yaml
   

3. 等待一段时间后，执行以下命令，查看已经创建的PVC信息。

   kubectl get pvc mypvc
   

   命令结果示例如下，如果PVC的状态是“Bound”时，则说明该PVC已经创建成功，后续可以被Pod使用。

   NAME        STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   mypvc       Bound    pvc-840054d3-1d5b-4153-b73f-826f980abf9e   100Gi      RWO            mysc           12s
   

   

   • 完成创建PVC操作后，如果长时间后（如一分钟后）PVC的状态是Pending，请参考创建PVC时， PVC的状态为Pending。
   • 建议每批次最多批量创建/删除100个PVC。

使用PVC

在完成PVC创建后，就可以使用PVC来创建Pod。如下示例是一个简单的使用PVC示例，在该示例中，创建的Pod使用了刚刚创建的 mypvc。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers: 
      - image: nginx:alpine
        name: container-0 
        volumeMounts: 
        - mountPath: /tmp
          name: pvc-mypvc 
      restartPolicy: Always 
      volumes: 
      - name: pvc-mypvc 
        persistentVolumeClaim: 
          claimName:  mypvc  # name of PVC

7.1.1.1.1 - 动态卷供应典型场景StorageClass配置示例

存储类（StorageClass）为管理员提供了描述存储 “类” 的方法。 不同的类型可能会映射到一组不同的能力定义。Kubernetes集群用户可基于StorageClass进行动态卷制备。

使用SAN存储时可参考示例文件/examples/sc-lun.yaml，使用NAS存储时可参考示例文件/examples/sc-fs.yaml。

典型场景下StorageClass配置请参考如下示例：

• StorageClass中设置后端和存储池
• StorageClass中设置NFS访问方式
• StorageClass中设置Dtree类型
• StorageClass中设置本地文件系统访问方式
• StorageClass中设置DPC访问方式
• StorageClass中设置应用类型
• StorageClass中设置软配额
• StorageClass中设置双活
• StorageClass中设置挂载目录权限
• StorageClass中设置QoS
• CCE / CCE Agile平台中配置StorageClass

StorageClass中设置后端和存储池

如果在一个Kubernetes集群中配置了多个华为后端，或者一个华为后端提供多个存储池，建议在StorageClass中配置指定的后端和存储池信息，避免华为CSI随机选择后端和存储池，导致卷所在的存储不符合规划。

SAN存储设置后端和存储池可以参考如下配置示例。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
  backend: "san-181" # 存储后端名称
  pool: "pool001" # 存储池名称
  volumeType: lun
  allocType: thin

NAS存储设置后端和存储池可以参考如下配置示例。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: mysc
provisioner: csi.huawei.com
allowVolumeExpansion: true
parameters:
  backend: "san-181" # 存储后端名称
  pool: "pool001" # 存储池名称
  volumeType: fs
  allocType: thin
  authClient: "*"

StorageClass中设置NFS访问方式

容器使用NFS文件系统作为存储资源时，可以参考如下配置示例。该示例中，NFS挂载时指定版本为4.1。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: mysc
provisioner: csi.huawei.com
parameters:
  backend: nfs-nas-181
  pool: pool001
  volumeType: fs
  allocType: thin
  authClient: "192.168.0.10;192.168.0.0/24;myserver1.test"
mountOptions:
  - nfsvers=4.1 # NFS挂载时指定版本为4.1

StorageClass中设置Dtree类型