华为容器存储套件

• 1: 前言
• 2: 概述
• 3: 快速开始
• 4: 兼容性和特性
• 4.1: 闪存存储(OceanStor Dorado/OceanStor V5/OceanStor V6及以后)
• 4.1.1: 文件业务
• 4.1.1.1: 兼容性
• 4.1.1.1.1: 存储
• 4.1.1.1.2: 容器平台
• 4.1.1.1.3: 操作系统
• 4.1.1.2: 特性
• 4.1.1.2.1: 华为CSI
• 4.1.2: 块业务
• 4.1.2.1: 兼容性
• 4.1.2.1.1: 存储
• 4.1.2.1.2: 容器平台
• 4.1.2.1.3: 操作系统
• 4.1.2.2: 特性
• 4.1.2.2.1: 华为CSI
• 4.2: 闪存存储（OceanStor A600/A800）
• 4.2.1: 文件业务
• 4.2.1.1: 兼容性
• 4.2.1.1.1: 存储
• 4.2.1.1.2: 容器平台
• 4.2.1.1.3: 操作系统
• 4.2.1.2: 特性
• 4.2.1.2.1: 华为CSI
• 4.3: 海量存储（OceanStor Pacific系列）
• 4.3.1: 文件业务
• 4.3.1.1: 兼容性
• 4.3.1.1.1: 存储
• 4.3.1.1.2: 容器平台
• 4.3.1.1.3: 操作系统
• 4.3.1.2: 特性
• 4.3.1.2.1: 华为CSI
• 4.3.2: 块业务
• 4.3.2.1: 兼容性
• 4.3.2.1.1: 存储
• 4.3.2.1.2: 容器平台
• 4.3.2.1.3: 操作系统
• 4.3.2.2: 特性
• 4.3.2.2.1: 华为CSI
• 4.4: 海量存储（OceanDisk系列）
• 4.4.1: 文件业务
• 4.4.1.1: 兼容性
• 4.4.1.1.1: 存储
• 4.4.1.1.2: 容器平台
• 4.4.1.1.3: 操作系统
• 4.4.1.2: 特性
• 4.4.1.2.1: 华为CSI
• 4.4.2: 块业务
• 4.4.2.1: 兼容性
• 4.4.2.1.1: 存储
• 4.4.2.1.2: 容器平台
• 4.4.2.1.3: 操作系统
• 4.4.2.2: 特性
• 4.4.2.2.1: 华为CSI
• 5: 安装部署
• 5.1: CSI
• 5.1.1: 安装前准备
• 5.1.1.1: 下载华为CSI软件包
• 5.1.1.2: 上传华为CSI镜像
• 5.1.1.3: 检查华为存储上的用户配置
• 5.1.1.4: 检查卷快照依赖组件
• 5.1.1.5: 检查主机多路径配置
• 5.1.1.6: 检查主机依赖软件状态
• 5.1.1.7: 检查CSI依赖的镜像
• 5.1.2: 安装
• 5.1.2.1: 使用Helm安装
• 5.1.2.1.1: Kubernetes、OpenShift、Tanzu安装华为CSI
• 5.1.2.1.2: CCE或CCE Agile平台安装华为CSI
• 5.1.2.1.3: Helm values.yaml参数说明
• 5.1.2.2: 手动安装
• 5.1.3: 卸载
• 5.1.3.1: 使用Helm卸载
• 5.1.3.1.1: Kubernetes、OpenShift、Tanzu卸载华为CSI
• 5.1.3.1.2: CCE或CCE Agile卸载华为CSI
• 5.1.3.1.3: 卸载CSI依赖组件服务
• 5.1.3.2: 手动卸载
• 5.1.4: 升级
• 5.1.4.1: 使用Helm升级
• 5.1.4.1.1: 从2.x或3.x升级至4.x版本
• 5.1.4.1.2: Kubernetes、OpenShift、Tanzu升级华为CSI
• 5.1.4.1.3: CCE或CCE Agile升级华为CSI
• 5.1.4.2: 手动升级
• 5.1.5: 回退
• 5.1.5.1: 使用Helm回退
• 5.1.5.1.1: Kubernetes、OpenShift、Tanzu回退华为CSI
• 5.1.5.1.2: CCE或CCE Agile回退华为CSI
• 5.1.5.2: 手动回退
• 6: 基础服务
• 6.1: 存储后端管理
• 6.1.1: 配置存储后端
• 6.1.1.1: 闪存存储(OceanStor Dorado/OceanStor V5/OceanStor V6及以后)
• 6.1.1.1.1: 文件系统
• 6.1.1.1.1.1: NFS
• 6.1.1.1.1.2: NFS+
• 6.1.1.1.2: Dtree
• 6.1.1.1.2.1: NFS
• 6.1.1.1.2.2: NFS+
• 6.1.1.1.3: 块业务
• 6.1.1.1.3.1: iSCSI
• 6.1.1.1.3.2: FC
• 6.1.1.1.3.3: NVMe over RoCE
• 6.1.1.1.3.4: FC-NVMe
• 6.1.1.2: 闪存存储（OceanStor A600/A800）
• 6.1.1.2.1: 本地文件系统
• 6.1.1.2.1.1: NFS
• 6.1.1.2.1.2: DataTurbo
• 6.1.1.3: 海量存储（OceanStor Pacific系列）
• 6.1.1.3.1: 命名空间
• 6.1.1.3.1.1: NFS
• 6.1.1.3.1.2: DPC
• 6.1.1.3.2: Dtree
• 6.1.1.3.2.1: NFS
• 6.1.1.3.2.2: DPC
• 6.1.1.3.3: 块业务
• 6.1.1.3.3.1: iSCSI
• 6.1.1.3.3.2: SCSI
• 6.1.1.4: 海量存储（OceanDisk系列）
• 6.1.1.4.1: 文件系统
• 6.1.1.4.1.1: NFS
• 6.1.1.4.2: 块业务
• 6.1.1.4.2.1: iSCSI
• 6.1.1.4.2.2: FC
• 6.1.1.4.2.3: NVMe over RoCE
• 6.1.2: 管理存储后端
• 6.1.2.1: 查询存储后端
• 6.1.2.2: 更新存储后端
• 6.1.2.2.1: 更新存储后端密码
• 6.1.2.2.2: 更新存储后端登陆认证模式
• 6.1.2.2.3: 更新存储后端信息
• 6.1.2.3: 删除存储后端
• 6.1.2.4: 添加存储后端证书
• 6.1.2.5: 移除存储后端证书
• 6.2: 存储类管理
• 6.2.1: 配置存储类
• 6.2.1.1: 闪存存储（OceanStor Dorado/OceanStor V5/OceanStor V6及以后）
• 6.2.1.1.1: 文件系统
• 6.2.1.1.2: Dtree
• 6.2.1.1.3: 块业务
• 6.2.1.2: 闪存存储（OceanStor A600/A800）
• 6.2.1.2.1: 文件系统
• 6.2.1.3: 海量存储（FusionStorage Block/OceanStor Pacific系列）
• 6.2.1.3.1: 文件系统
• 6.2.1.3.2: Dtree
• 6.2.1.3.3: 块业务
• 6.2.1.4: 海量存储（OceanDisk系列）
• 6.2.1.4.1: 文件系统
• 6.2.1.4.2: 块业务
• 6.2.2: 管理存储类
• 6.2.2.1: 查询存储类
• 6.2.2.2: 修改存储类
• 6.2.2.3: 删除存储类
• 6.3: 持久卷管理
• 6.3.1: 配置持久卷
• 6.3.1.1: 配置动态持久卷
• 6.3.1.2: 配置静态持久卷
• 6.3.1.3: 纳管持久卷
• 6.3.2: 管理持久卷
• 6.3.2.1: 扩容持久卷
• 6.3.2.2: 克隆持久卷
• 6.3.2.3: 变更持久卷
• 6.3.2.3.1: 开启PVC变更特性
• 6.3.2.3.1.1: 使用Helm开启PVC变更特性
• 6.3.2.3.1.2: 手动方式开启PVC变更特性
• 6.3.2.3.2: 配置PVC变更
• 6.3.2.3.2.1: 创建PVC变更
• 6.3.2.3.2.2: 查询PVC变更
• 6.3.2.3.2.3: 删除PVC变更
• 7: 高阶服务
• 7.1: 快照管理
• 7.1.1: 配置卷快照
• 7.1.2: 管理卷快照
• 7.1.2.1: 查询卷快照
• 7.1.2.2: 从卷快照创建持久卷
• 7.1.2.3: 删除卷快照
• 8: 常见运维操作
• 8.1: 安装Helm 3
• 8.2: 信息收集
• 8.2.1: 如何获取CSI版本信息
• 8.2.2: 如何查看华为CSI日志
• 8.2.3: 日志收集
• 8.3: 下载容器镜像
• 8.4: 更新huawei-csi-controller或huawei-csi-node服务
• 8.5: 修改日志输出模式
• 8.6: 开启ReadWriteOncePod功能门
• 8.7: 配置非root用户访问Kubernetes集群
• 8.8: 配置IPv6
• 8.8.1: 首次安装华为CSI时配置IPv6
• 8.8.2: 华为CSI由IPv4切换至IPv6
• 8.9: 配置存储拓扑感知
• 8.10: 配置ALUA特性
• 8.10.1: 配置华为企业存储后端的ALUA参数
• 8.10.2: 配置分布式存储后端的ALUA参数
• 8.10.3: OceanStor V5系列ALUA特性配置策略样例
• 8.10.4: OceanStor Dorado ALUA特性配置策略样例
• 8.10.5: 分布式存储ALUA特性配置策略样例
• 9: 故障处理
• 9.1: 华为CSI服务相关问题
• 9.1.1: 启动huawei-csi-node失败，提示错误为：“/var/lib/iscsi is not a directory”
• 9.1.2: 启动华为CSI服务失败，提示错误：“/etc/localtime is not a file”
• 9.1.3: 启动huawei-csi服务时，服务启动异常， 状态显示InvalidImageName
• 9.2: 存储后端相关问题
• 9.2.1: 使用oceanctl工具创建后端失败，报错：context deadline exceeded
• 9.2.2: 使用oceanctl工具获取存储后端时，ONLINE字段值为false
• 9.2.3: 存储侧更新密码后账户被锁定
• 9.3: PVC相关问题
• 9.3.1: 创建PVC时， PVC的状态为Pending
• 9.3.2: 删除PVC前，PVC的状态为Pending
• 9.3.3: 通用临时卷扩容失败
• 9.3.4: PVC扩容的目标容量超过存储池容量导致扩容失败
• 9.4: Pod相关问题
• 9.4.1: 集群中worker节点宕机并恢复后，Pod完成failover，但是Pod所在源主机出现盘符残留
• 9.4.2: 创建Pod时，Pod的状态为ContainerCreating
• 9.4.3: 创建Pod时，Pod的状态长时间处于ContainerCreating状态
• 9.4.4: 创建Pod失败，日志显示执行mount命令超时
• 9.4.5: 创建Pod失败，日志显示执行mount命令失败
• 9.4.6: 创建Pod失败，Events日志显示“publishInfo doesn't exist”
• 9.4.7: 创建Pod失败或重启kubelet后，日志显示挂载点已存在
• 9.4.8: Pod挂载卷目录提示I/O error
• 9.4.9: Kubernetes平台第一次搭建时， iscsi_tcp服务没有正常启动，导致创建Pod失败
• 9.4.10: 创建Pod失败，日志显示启动器已关联至其他主机
• 9.4.11: 创建Pod失败，日志显示“Get DMDevice by alias: dm-x failed”
• 9.5: 对接Tanzu Kubernetes集群常见问题及解决方法
• 9.5.1: 未创建PSP权限导致Pod无法创建
• 9.5.2: 修改主机挂载点
• 9.5.3: 修改livenessprobe容器的默认端口
• 9.5.4: 创建临时卷失败
• 10: CLI命令说明
• 10.1: oceanctl命令说明
• 11: 附录
• 11.1: 通信矩阵
• 11.2: 配置自定义权限
• 11.3: 华为CSI资源管理
• 11.4: Kubernetes特性矩阵

1 - 前言

读者对象

本文档主要适用于以下读者对象：

• 技术支持工程师
• 运维工程师
• 具备存储和Kubernetes基础知识的工程师

符号约定

在本文中可能出现下列标志，它们所代表的含义如下。

2 - 概述

容器存储接口（ Container Storage Interface ），简称 CSI，是一种行业标准协议，用于对接Kubernetes等容器平台与底层存储系统。华为CSI插件作为必备组件，实现华为企业存储和分布式存储产品与Kubernetes集群的对接，为容器工作负载提供持久化存储服务。

Kubernetes通过其官方维护的一系列sidecar组件负责注册监听Kubernetes对象资源，并调用CSI驱动程序，触发华为存储的物理操作。如创建一个 持久卷（Persistent Volume，PV） 时，华为CSI驱动会在存储设备中创建对应的LUN（块存储）或文件系统。Kubernetes、华为CSI以及华为存储的整体结构如 图1 所示：

图 1 CSI整体架构

华为CSI主要有两大组件，分别为huawei-csi-controller和huawei-csi-node：

• huawei-csi-controller：包含Controller Service和Identity Service，以Deployment方式运行的一个或多个Pod，主要负责与华为存储交互，使用RESTful方式进行通信，因此运行huawei-csi-controller组件的节点需要连通存储的管理面网络。
• huawei-csi-node：包含Node Service和Identity Service，以DaemonSet方式运行在Kubernetes工作节点上的Pod，用于在工作节点上对华为存储提供的LUN/文件系统资源进行挂载和卸载等操作，因此运行huawei-csi-node组件的节点需要连通存储的业务面网络。

华为CSI的部署模型如 图2 所示：

图 2 CSI部署模型

本文档主要介绍华为CSI V4.9.0插件的安装部署和使用。

3 - 快速开始

本章节说明如何快速上手安装并使用华为CSI管理PVC。

华为CSI使用流程概览

图 1 CSI安装及使用流程图

兼容性和特性

使用前请先了解对接的华为存储、容器平台和主机操作系统相关的兼容性以及支持的特性，具体请参考 兼容性和特性 。

安装前准备

安装华为CSI前，需要对容器平台、主机等环境做相关配置准备，参考 安装前准备 。

安装部署

华为CSI提供了Helm和手动安装两种安装方式，并适用于包含Kubernetes、OpenShift等不同的容器平台，参考 安装部署 。

创建存储后端

在使用华为CSI前，需要先创建存储后端资源，参考 配置存储后端 。

使用华为CSI

现在，您可以开始使用华为CSI进行PVC管理了，参考 配置存储类 ， 配置持久卷 。

4 - 兼容性和特性

4.1 - 闪存存储(OceanStor Dorado/OceanStor V5/OceanStor V6及以后)

4.1.1 - 文件业务

4.1.1.1 - 兼容性

4.1.1.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

表 2 华为企业存储Dtree支持的华为存储版本

4.1.1.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.1.1.1.3 - 操作系统

华为CSI操作系统兼容性

表 1 支持的主机操作系统

4.1.1.2 - 特性

4.1.1.2.1 - 华为CSI

表 1 华为存储支持的特性及约束

表 2 华为企业存储Dtree支持的特性

4.1.2 - 块业务

4.1.2.1 - 兼容性

4.1.2.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

4.1.2.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.1.2.1.3 - 操作系统

华为CSI操作系统兼容性

表 1 支持的主机操作系统

4.1.2.2 - 特性

4.1.2.2.1 - 华为CSI

表 1 华为存储支持的特性及约束

• 若客户的容器平台部署在虚拟化平台上，CSI对接SAN存储时建议使用iSCSI协议。
• 若客户要求使用FC/NVMe over FC/NVMe over RoCE协议，需要对虚拟化平台进行特定配置，需客户侧的虚拟化团队提供技术支持。
• 使用NVMe over RoCE或NVMe over FC时，支持的nvme-cli工具版本为1.9及以上，查询命令为：nvme version。

4.2 - 闪存存储（OceanStor A600/A800）

4.2.1 - 文件业务

4.2.1.1 - 兼容性

4.2.1.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

4.2.1.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.2.1.1.3 - 操作系统

华为CSI操作系统兼容性

表 1 支持的主机操作系统

4.2.1.2 - 特性

4.2.1.2.1 - 华为CSI

表 1 华为存储支持的特性及约束

4.3 - 海量存储（OceanStor Pacific系列）

4.3.1 - 文件业务

4.3.1.1 - 兼容性

4.3.1.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

表 2 华为分布式存储Dtree支持的华为存储版本

4.3.1.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.3.1.1.3 - 操作系统

表 1 支持的主机操作系统

4.3.1.2 - 特性

4.3.1.2.1 - 华为CSI

表 1 华为存储支持的特性及约束

表 2 华为分布式存储Dtree支持的特性

4.3.2 - 块业务

4.3.2.1 - 兼容性

4.3.2.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

4.3.2.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.3.2.1.3 - 操作系统

华为CSI操作系统兼容性

表 1 支持的主机操作系统

4.3.2.2 - 特性

4.3.2.2.1 - 华为CSI

4.4 - 海量存储（OceanDisk系列）

4.4.1 - 文件业务

4.4.1.1 - 兼容性

4.4.1.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

4.4.1.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.4.1.1.3 - 操作系统

表 1 支持的主机操作系统

4.4.1.2 - 特性

4.4.1.2.1 - 华为CSI

表 1 华为存储支持的特性及约束

4.4.2 - 块业务

4.4.2.1 - 兼容性

4.4.2.1.1 - 存储

华为CSI存储兼容性

表 1 支持的华为存储产品

4.4.2.1.2 - 容器平台

华为CSI平台兼容性

表 1 支持的容器管理平台

4.4.2.1.3 - 操作系统

华为CSI操作系统兼容性

表 1 支持的主机操作系统

4.4.2.2 - 特性

4.4.2.2.1 - 华为CSI

• 若客户的容器平台部署在虚拟化平台上，CSI对接SAN存储时建议使用iSCSI协议。
• 若客户要求使用FC/NVMe over FC/NVMe over RoCE协议，需要对虚拟化平台进行特定配置，需客户侧的虚拟化团队提供技术支持。
• 使用NVMe over RoCE或NVMe over FC时，支持的nvme-cli工具版本为1.9及以上，查询命令为：nvme version。

5 - 安装部署

5.1 - CSI

5.1.1 - 安装前准备

本章节将对安装前的准备工作进行详细说明。

前提条件

• 容器管理平台已部署完成，正常运行且满足 兼容性和特性 章节中的容器平台兼容性要求。
• （企业存储必选）已完成对接华为企业存储初始化配置，包括存储池划分、端口配置等。且存储产品的版本满足 兼容性和特性 章节中的存储兼容性要求。
• （分布式存储必选）已完成对接华为分布式存储初始化配置，包括存储池划分、端口配置等。且存储产品的版本满足 兼容性和特性 章节中的存储兼容性要求。
• 完成华为存储和容器平台主机连通性配置，例如运行huawei-csi-controller的worker节点与待接入的存储设备的管理IP地址通信正常，运行huawei-csi-node的worker节点与待接入的存储设备的业务IP地址通信正常，iSCSI场景下允许使用ping命令进行连通性校验等。
• 请确保操作系统的语言是英文。
• 请确保存储池、租户名称等相关存储资源名称是英文。

5.1.1.1 - 下载华为CSI软件包

本章节详细说明了下载方法以及软件包组件结构。

1. 打开浏览器，访问仓库地址： https://github.com/Huawei/eSDK_K8S_Plugin/releases 。

2. 根据CPU架构，下载对应的4.9.0版本软件包。

   

   • 软件包命名规范：插件名称（eSDK_Storage_CSI）+版本号+CPU架构。
   • CSI支持的CPU架构包括：X86、ARM和PPC64LE。

3. 将下载的软件包解压。软件包组件结构如下表所示。

   表 1 软件包组件描述

   组件	组件描述
   image/huawei-csi-v4.9.0-arch.tar	huawei-csi-driver镜像，"arch"为CPU架构。
   image/storage-backend-controller-v4.9.0-arch.tar	后端管理控制器镜像，"arch"为CPU架构。
   image/storage-backend-sidecar-v4.9.0-arch.tar	后端管理sidecar镜像，"arch"为CPU架构。
   image/huawei-csi-extender-v4.9.0-arch.tar	huawei-csi-extender镜像，"arch"为CPU架构。
   bin/	华为提供的镜像使用的二进制文件。
   bin/oceanctl	华为提供的命令行工具，可用于管理存储后端。
   helm/	Helm工程，用于部署华为CSI。
   manual/	用于手动安装部署华为CSI。
   examples/	CSI使用过程中的yaml示例文件。
   examples/backend	创建存储后端的yaml示例文件。

5.1.1.2 - 上传华为CSI镜像

华为提供huawei-csi镜像供用户使用，镜像文件获取请参考 下载华为CSI软件包 。

为了后续在容器管理平台中可以使用CSI镜像，需要提前将CSI镜像导入到集群中：

• 方法一：使用Docker工具，将CSI镜像上传至镜像仓库（推荐），参考 上传镜像到镜像仓库 。
• 方法二：手动将CSI镜像导入到所有需要部署华为CSI的节点，参考 上传镜像到本地节点 。

上传镜像到镜像仓库

安装华为CSI依赖如下华为提供的镜像文件，请按照说明依次导入并上传下列镜像文件，镜像文件获取请参考 下载华为CSI软件包 。

• huawei-csi-v4.9.0-arch.tar
• storage-backend-controller-v4.9.0-arch.tar
• storage-backend-sidecar-v4.9.0-arch.tar
• huawei-csi-extender-v4.9.0-arch.tar

前提条件

已准备一台已安装Docker的Linux主机，且该主机支持访问镜像仓库。

操作步骤

1. 执行以下命令，将CSI镜像导入当前节点。其中arch为CPU架构。

   docker load -i huawei-csi-v4.9.0-<arch>.tar 
   

2. 执行以下命令，添加镜像仓库地址到镜像标签。其中repo.huawei.com表示镜像仓库的地址。

   docker tag huawei-csi:4.9.0 <repo.huawei.com>/huawei-csi:4.9.0
   

3. 执行以下命令，将CSI镜像上传到镜像仓库。其中repo.huawei.com表示镜像仓库的地址。

   docker push <repo.huawei.com>/huawei-csi:4.9.0
   

• 需根据容器运行时环境（如Docker/Containerd），执行对应的CLI命令完成镜像加载与推送操作。
• CCE或CCE Agile平台请参考该平台用户手册完成镜像导入和上传。

上传镜像到本地节点

若镜像已上传至镜像仓库，则跳过本章节。

前提条件

• 该节点已获取对应的华为CSI镜像文件，镜像文件获取请参考 下载华为CSI软件包 。
• 该节点已经安装Docker或其他容器引擎。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录需要导入镜像的节点。
2. 将Kubernetes CSI组件包中的"image"目录拷贝到当前节点的任意目录下。
3. 执行cd image命令，进入到image的工作目录。工具路径请参见 表1 。
4. 执行命令依次将image目录下的所有华为CSI镜像导入至本地节点，其中name参数是镜像tar包的名字。

   • 使用Docker容器引擎执行：

     docker load -i <name>.tar
     

   • 使用containerd容器引擎执行：

     ctr -n k8s.io image import <name>.tar
     

   • 使用Podman容器引擎执行：

     podman load -i <name>.tar
     

     
     当节点主机安装的是其他容器引擎时，请使用对应容器引擎的导入镜像命令。

5.1.1.3 - 检查华为存储上的用户配置

当华为存储接入容器平台后，华为CSI需要在华为存储上根据业务要求管理存储资源，如创建卷、映射卷等操作。此时，华为CSI需要使用华为存储上已经创建的用户和华为存储进行通信。针对不同存储设备所需要的用户信息如下表所示。

表 1 存储对接CSI时使用的用户要求

• 使用自定义角色，需要给角色配置权限，最小权限请参考 配置自定义权限 章节配置。
• 使用LDAP认证方式，需要在创建后端时配置authenticationMode参数，参考 配置存储后端 中的参数说明。
• 基于最小权限原则和系统安全要求，不推荐使用“超级管理员”角色下的用户。

5.1.1.4 - 检查卷快照依赖组件

本章节介绍如何检查集群中卷快照依赖组件情况。

Kubernetes v1.20之前版本部署华为CSI，请按照以下步骤检查。

1. 执行以下命令查看Kubernetes版本。以Kubernetes版本v1.16.0为例。

   kubectl get node
   

   命令结果示例如下：

   NAME          STATUS       ROLES     AGE    VERSION
   test-master   Ready        master    311d   v1.16.0
   test-node     Ready        <none>    311d   v1.16.0
   

2. 将Kubernetes CSI组件包中的"helm"目录拷贝到master节点的任意目录下。Helm工具路径请参见 表1 。

3. 进入helm/esdk/crds/snapshot-crds目录，执行以下命令，删除快照CRD安装文件。

   rm -rf ./huawei-csi-snapshot-crd-v1.yaml
   

5.1.1.5 - 检查主机多路径配置

当您计划在容器环境中使用FC/iSCSI/NVMe over RoCE/NVMe over FC协议对华为存储进行访问时，推荐您使用主机多路径软件增强主机和存储的链路冗余和性能。如果您不准备使用多路径软件，请跳过本章节。

华为CSI软件支持对接的操作系统和多路径软件请参考 兼容性和特性 章节中的操作系统兼容性。

• 如果您准备使用FC/iSCSI协议对接华为存储时，推荐使用操作系统自带的原生DM-Multipath。
• 如果您准备使用NVMe over RoCE/NVMe over FC协议对接华为存储时，推荐使用华为自研的UltraPath-NVMe。
• 如果您使用SCSI协议对接华为存储时，请关闭操作系统自带的DM-Multipath。

前提条件

主机多路径软件已经被正确的安装在主机上。

• 如果您使用的是操作系统自带的原生DM-Multipath，请咨询您的主机或操作系统提供商获取安装所需的资料和软件包。
• 如果您使用的是华为自研的UltraPath或者UltraPath-NVMe，请联系华为工程师获取UltraPath或者UltraPath-NVMe的资料和软件包。软件包版本请参考 兼容性和特性 章节中的操作系统兼容性。

操作步骤

• 如果您使用iSCSI/FC协议对接华为企业存储，请参考 OceanStor Dorado & OceanStor在Red Hat下的主机连通性指南 ，对主机多路径进行配置和检查。

• 如果您使用NVMe over RoCE/NVMe over FC协议对接华为企业存储，请参考 OceanStor Dorado & OceanStor在Red Hat下的主机连通性指南 ，对主机多路径进行配置和检查。

• 如果您使用iSCSI协议对接华为分布式存储，请参考 《FusionStorage 8.0.1 块存储基础业务配置指南》 中的“应用服务器配置多路径”章节，对主机多路径进行配置和检查。

• 如果您使用了操作系统原生多路径时，需要检查/etc/multipath.conf文件是否存在如下配置：

  defaults {
          user_friendly_names yes
          find_multipaths no
  }
  

  如果配置不存在，请在/etc/multipath.conf文件开始处增加该配置项。

  
  user_friendly_names 和find_multipaths 的参数作用请参考： dm_multipath/config_file_defaults

5.1.1.6 - 检查主机依赖软件状态

本章节介绍如何检查集群中工作节点上主机依赖软件状态是否正常。以主机操作系统为CentOS 7.9 x86_64为例。

• 检查iSCSI客户端状态。

  systemctl status iscsi iscsid 
  

• 检查NFS客户端状态。

  systemctl status rpcbind 
  

• 检查DM-Multipath多路径软件状态。

  systemctl status multipathd.socket multipathd
  

• 检查UltraPath多路径软件状态。

  systemctl status nxup
  

• 检查UltraPath-NVMe多路径软件状态。

  systemctl status upudev upService_plus
  

• 检查DataTurbo客户端状态，请参考 《OceanStor DataTurbo 25.1.0 DTFS用户指南》 。

• 检查NFS+客户端状态，请参考 《NFS+客户端 1.x 用户指南》 。

5.1.1.7 - 检查CSI依赖的镜像

华为CSI安装过程中需要依赖下表中的镜像，若集群中的所有worker节点已连接互联网且能够在线拉取镜像，则可跳过本章节。若集群中的节点无法连接互联网，则请根据使用的Kubernetes版本，下载对应的镜像文件并上传到镜像仓库中或者导入Kubernetes集群的所有worker节点中。

huawei-csi-controller服务依赖的sidecar镜像：livenessprobe、csi-provisioner、csi-attacher、csi-resizer、csi-snapshotter、snapshot-controller、storage-backend-controller、storage-backend-sidecar、huawei-csi-driver和huawei-csi-extender。huawei-csi-node服务依赖的sidecar镜像：livenessprobe、csi-node-driver-registrar和huawei-csi-driver。

关于每个镜像的功能和详情，请参考下表。

表 1 Huawei CSI依赖的镜像

集群若未连接互联网，需要手动下载容器镜像并上传到集群中，具体操作请参考 下载容器镜像 。

5.1.2 - 安装

本章节介绍如何安装华为CSI。

当前版本的华为CSI添加了资源请求和限制，具体详情请参考 华为CSI资源管理 。

前提条件

• 已完成 安装前准备 。
• 集群的所有worker节点与待接入的存储设备的业务组网通信正常，iSCSI场景下允许使用ping命令进行连通性校验。
• 集群的所有worker节点已安装对应协议所需要的软件客户端，如iSCSI客户端、NFS客户端等。

5.1.2.1 - 使用Helm安装

本章节介绍如何使用Helm 3安装部署华为CSI。

Helm安装说明

• 华为CSI的安装支持root用户和非root用户。使用非root用户安装华为CSI时，需要保证当前用户能够访问Kubernetes集群的API Server，配置非root用户访问Kubernetes集群请参考 配置非root用户访问Kubernetes集群 。
• 华为CSI必须在root用户权限下运行。

Helm是Kubernetes生态系统中的一个软件包管理工具，类似Ubuntu的APT、CentOS的YUM、或Python的pip一样，专门负责管理Kubernetes的应用资源。

使用Helm可以对Kubernetes应用进行统一打包、分发、安装、升级以及回退等操作。

• Helm的获取、安装请参考： https://helm.sh/docs/intro/install/
• Helm与Kubernetes版本对应关系请参考： https://helm.sh/docs/topics/version_skew/

Helm在安装huawei-csi-controller时，将在指定命名空间的Deployment类型的工作负载中部署以下组件：

• huawei-csi-driver：华为CSI驱动。
• storage-backend-controller：华为后端管理控制器，管理storageBackendClaim资源。
• storage-backend-sidecar：用于管理storageBackendContent资源。
• Kubernetes External Provisioner：用于提供/删除卷。
• Kubernetes External Attacher：用于挂载/解挂载卷。
• Kubernetes External Resizer：用于扩容卷。
• Kubernetes External liveness-probe： 用来判断Pod健康状态。
• （可选）huawei-csi-extender：华为CSI扩展。
• （可选）Kubernetes External Snapshotter：提供快照支持（作为CRD安装）。
• （可选）Kubernetes External Snapshot Controller ：用于卷快照控制。

Helm在安装huawei-csi-node时，将在指定命名空间的DaemonSet类型的工作负载中部署以下组件：

• huawei-csi-driver：华为CSI驱动。
• Kubernetes Node Registrar：处理驱动程序注册。
• liveness-probe: 用来判断Pod健康状态。

5.1.2.1.1 - Kubernetes、OpenShift、Tanzu安装华为CSI

安装步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录集群的任意master节点。

2. 将Kubernetes CSI组件包中的"helm"目录拷贝到master节点的任意目录下。Helm工具路径请参见 表1 。

3. 进入到helm/esdk的工作目录下。

   cd helm/esdk
   

4. 准备values.yaml文件，华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件，您也可以根据 Helm values.yaml参数说明 修改参数对华为CSI进行定制。

5. 安装前配置：

   • 若容器平台为Kubernetes，可跳过该步骤。
   • 若容器平台为OpenShift，请根据 OpenShift平台安装配置 进行配置。
   • 若容器平台为Tanzu，请根据 Tanzu平台安装配置 进行配置。

6. 执行命令，更新存储后端CRD

   kubectl apply -f ./crds/backend/
   

7. （可选） 请务必按照 检查卷快照依赖组件 章节检查快照依赖组件，确认无误后执行执行命令更新快照CRD，如果controller.snapshot.enabled参数设置为false或Kubernetes版本低于v1.20，可跳过本步骤，详情请参考 表2 。

   kubectl apply -f ./crds/snapshot-crds/ --validate=false
   

8. 执行如下命令安装华为CSI。其中，helm-huawei-csi为自定义的Helm Chart名称，./表示使用当前目录下的Helm工程，huawei-csi为自定义的Helm Chart命名空间。

   helm install helm-huawei-csi ./ -n huawei-csi --create-namespace
   

   命令结果示例如下：

   NAME: helm-huawei-csi
   LAST DEPLOYED: Wed Jun  8 11:50:28 2022
   NAMESPACE: huawei-csi
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None
   

9. 完成huawei-csi服务部署后，可执行如下命令检查服务是否启动。

   kubectl get pod -n huawei-csi
   

   命令结果示例如下，Pod状态为“Running“则安装成功。

   NAME                                     READY   STATUS    RESTARTS   AGE
   huawei-csi-controller-6dfcc4b79f-9vjtq   9/9     Running   0          24m
   huawei-csi-controller-6dfcc4b79f-csphc   9/9     Running   0          24m
   huawei-csi-node-g6f4k                    3/3     Running   0          20m
   huawei-csi-node-tqs87                    3/3     Running   0          20m
   

OpenShift平台安装配置

OpenShift平台请根据以下步骤创建SecurityContextConstraints资源。

1. 执行命令，编辑helm_scc.yaml文件。

   vi helm_scc.yaml
   

2. 修改helm_scc.yaml文件。其中huawei-csi是指创建的命名空间，请根据实际情况填写。

   apiVersion: security.openshift.io/v1
   kind: SecurityContextConstraints
   metadata:
     name: helm-scc
   allowHostDirVolumePlugin: true
   allowHostIPC: true
   allowHostNetwork: true
   allowHostPID: true
   allowHostPorts: true
   allowPrivilegeEscalation: true
   allowPrivilegedContainer: true
   
   defaultAddCapabilities:
   - SYS_ADMIN
   runAsUser:
     type: RunAsAny
   seLinuxContext:
     type: RunAsAny
   fsGroup:
     type: RunAsAny
   users:
   - system:serviceaccount:huawei-csi:huawei-csi-controller
   - system:serviceaccount:huawei-csi:huawei-csi-node
   

3. 执行命令，创建SecurityContextConstraints。

   oc create -f helm_scc.yaml
   

Tanzu平台安装配置

Tanzu平台请执行以下命令配置kubelet安装目录。

1. 进入到安装包的helm/esdk目录下，执行以下命令打开配置文件。安装包目录请参见 表1 。

   vi values.yaml
   

2. 修改kubeletConfigDir参数如下并保存：

   # Specify kubelet config dir path.
   # kubernetes and openshift is usually /var/lib/kubelet
   # Tanzu is usually /var/vcap/data/kubelet
   # CCE is usually /mnt/paas/kubernetes/kubelet
   kubeletConfigDir: /var/vcap/data/kubelet
   

Tanzu平台TKGI 1.16版本及以下请执行以下命令配置RBAC权限

1. 执行命令， 创建rbac.yaml文件。

   vi rbac.yaml
   

2. 粘贴如下内容至rbac.yaml，保存并退出：

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: huawei-csi-psp-role
   rules:
   - apiGroups: ['policy']
     resources: ['podsecuritypolicies']
     verbs: ['use']
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: huawei-csi-psp-role-cfg
   roleRef:
     kind: ClusterRole
     name: huawei-csi-psp-role
     apiGroup: rbac.authorization.k8s.io
   subjects:
   - kind: Group
     apiGroup: rbac.authorization.k8s.io
     name: system:serviceaccounts:huawei-csi
   - kind: Group
     apiGroup: rbac.authorization.k8s.io
     name: system:serviceaccounts:default
   

3. 执行命令，创建RBAC权限。

   kubectl create -f rbac.yaml
   

5.1.2.1.2 - CCE或CCE Agile平台安装华为CSI

本章节介绍如何在CCE或CCE Agile平台安装华为CSI。

制作Helm安装包

CCE或CCE Agile平台无法直接通过Helm安装华为CSI，需要手动制作Helm安装包后上传至平台模板市场进行安装。

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署Helm的任意节点。

2. 将华为CSI组件包中的"helm"目录拷贝到节点的任意目录下。Helm工具路径请参见 表1 。

3. 进入到helm的工作目录下。

   cd helm/
   

4. 修改helm/esdk/values.yaml文件中kubeletConfigDir和csiDriver.driverName参数。

   vi ./esdk/values.yaml
   

   修改如下参数：

   # Specify kubelet config dir path.
   # kubernetes and openshift is usually /var/lib/kubelet
   # Tanzu is usually /var/vcap/data/kubelet
   # CCE is usually /mnt/paas/kubernetes/kubelet
   kubeletConfigDir: /mnt/paas/kubernetes/kubelet
   
   # The CSI driver parameter configuration
   csiDriver:
     # Driver name, it is strongly recommended not to modify this parameter
     # The CCE platform needs to modify this parameter, e.g. csi.oceanstor.com
     driverName: csi.oceanstor.com
   

5. 执行命令制作Helm安装包，该命令会将安装包生成到当前路径下。

   helm package ./esdk/ -d ./
   

安装华为CSI

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录已部署CCE Agile平台master的任意节点。

2. 执行命令创建部署华为CSI的命名空间，其中huawei-csi为自定义的命名空间。

   kubectl create namespace huawei-csi
   

3. 导出Helm安装包，具体请参考 制作Helm安装包 。

4. 在主页单击“模板市场 > 我的模板 > 上传模板”，进入上传模板对话框。将导出的Helm安装包导入CCE Agile平台。

   

5. 安装包上传完毕，在主页单击“模板市场 > 我的模板”，进入我的模板页面，单击“安装 > 提交”。其中模板实例名称可自定义填写。

   

6. 在主页单击“模板市场 > 模板实例”，选择安装时指定的项目（例如样例中的项目是“default”）。安装成功后执行状态将回显为“安装成功”。

   

5.1.2.1.3 - Helm values.yaml参数说明

在使用Helm安装CSI时，需要您根据部署时需要使用的特性准备Helm工程的values.yaml文件。华为CSI已经在软件包的helm/esdk目录下提供了values.yaml模板文件。

本章节将详细说明values.yaml中的配置项以及典型场景下的后端配置示例。

images参数配置说明

values.yaml中的images配置项主要配置华为CSI运行时依赖的组件镜像信息。需要配置的参数如下：

表 1 images配置项说明

• huaweiCSIService、storageBackendSidecar、storageBackendController、huaweiCSIExtender参数的值，请参考 上传华为CSI镜像 章节的说明，使用最终生成镜像的名称和版本。
• 其他sidecar镜像参数，请参考 检查CSI依赖的镜像 章节的说明，使用最终上传的镜像的名称和版本。

controller参数配置说明

controller配置项用于配置huawei-csi-controller组件的相关配置。

表 2 controller配置项说明

当controller.snapshot.enabled参数配置为true时，需要安装“helm/crd/snapshot-crds”目录下的卷快照CRD资源。

node参数配置说明

node配置项用于配置huawei-csi-node组件的相关配置。

表 3 node配置项说明

- key: "node.kubernetes.io/memory-pressure"
  operator: "Exists"
  effect: "NoExecute"
- key: "node.kubernetes.io/disk-pressure"
  operator: "Exists"
  effect: "NoExecute"
- key: "node.kubernetes.io/network-unavailable"
  operator: "Exists"
  effect: "NoExecute"

/var/lib/kubelet/plugins/kubernetes.io/csi/{kubeletVolumeDevicesDirName}/publish/{specName}/{podUID}

csiDriver参数配置说明

csiDriver配置项包括了华为CSI运行时的基本配置，如华为驱动名称、多路径类型等配置信息。

表 4 csiDriver配置项说明

如果您的容器环境已经部署了华为CSI，请确保csiDriver.driverName的设置和之前部署时的配置保持一致。否则会导致系统中已存在的有华为CSI发放的卷/快照无法被新部署的华为CSI管理。

其他参数配置说明

其他配置项包括了CSI插件某些特性的开关或者镜像获取策略。

表 5 其他配置项说明

resources:
  controller:
    limits:
      cpu: 100m
      memory: 128Mi
    requests:
      cpu: 10m
      memory: 128Mi

请确保此kubernetes.namespace填入的命名空间在Kubernetes上已经存在，如果不存在请使用如下命令创建对应的命名空间。本例中，华为CSI运行的命名空间为“huawei-csi”。

kubectl create namespace huawei-csi

5.1.2.2 - 手动安装

本章节介绍如何手动安装华为CSI。

手动安装华为CSI当前仅支持Kubernetes平台。

安装步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录集群的任意master节点。

2. 将Kubernetes CSI组件包中的"manual"目录拷贝到master节点的任意目录下。

3. 执行命令创建一个命名空间，此处空间名称以huawei-csi为例。

   kubectl create ns huawei-csi
   

4. 进入到manual/esdk的工作目录下。具体路径请参见 表1 。

   cd manual/esdk
   

5. 执行命令，更新存储后端CRD

   kubectl apply -f ./crds/backend/
   

6. （可选） 请务必按照 检查卷快照依赖组件 章节检查快照依赖组件，确认无误后执行执行命令更新快照CRD，如果Kubernetes版本低于v1.20，跳过本步骤。

   kubectl apply -f ./crds/snapshot-crds/ --validate=false
   

7. （可选） 执行命令安装CSIDriver。如果不使用CSIDriver特性，可跳过本步骤，详情请参考 CSIDriver 特性。

   kubectl apply -f ./deploy/csidriver.yaml
   

8. 执行命令安装huawei-csi-controller服务。

   
   如果Kubernetes版本低于v1.20，需要对 ./deploy/huawei-csi-controller.yaml 文件进行如下修改：

   • Kubernetes版本低于v1.20时，不支持快照特性，删除名称为csi-snapshotter和snapshot-controller这两个与快照相关的容器配置。 如果Kubernetes版本低于v1.17，需要对 ./deploy/huawei-csi-controller.yaml 文件进行如下修改：
   • Kubernetes版本低于v1.17时，不支持快照特性，删除名称为csi-snapshotter和snapshot-controller这两个与快照相关的容器配置。
   • Kubernetes版本低于v1.17时，由于Kubernetes社区提供的csi-provisioner sidecar镜像不支持–leader-election参数，删除csi-provisioner容器leader-election参数配置，且仅支持单副本部署。
   • 根据 检查CSI依赖的镜像 中的版本要求，修改依赖的镜像版本。

   kubectl apply -f ./deploy/huawei-csi-controller.yaml
   

9. 执行命令安装huawei-csi-node服务。

   kubectl apply -f ./deploy/huawei-csi-node.yaml 
   

10. 执行命令检查服务是否启动。

    kubectl get pod -n huawei-csi
    

    回显示例如下，Pod状态为“Running“则安装成功。

    NAME                                     READY   STATUS    RESTARTS   AGE
    huawei-csi-controller-68745d489c-v5xkj   9/9     Running   0          13m
    huawei-csi-node-4hbqp                    3/3     Running   0          13m
    huawei-csi-node-f7dkf                    3/3     Running   0          13m
    huawei-csi-node-xrntc                    3/3     Running   0          13m
    

多副本controller部署场景下可以通过修改 ./deploy/huawei-csi-controller.yaml 文件中Deployment资源的spec.replica字段来指定副本个数，修改完成后，执行kubectl apply -f ./deploy/huawei-csi-controller.yaml使配置生效。

5.1.3 - 卸载

本章节介绍如何卸载华为CSI。根据您安装时的方式，请使用不同的方式进行卸载。

如果您不是出于升级的目的卸载华为CSI，请确保卸载华为CSI前已经在您的容器平台中将华为CSI发放的资源（PV、PVC、快照、存储后端等）全部清理。否则一旦您卸载华为CSI后，这些资源将无法被自动调度、管理或者清理。

5.1.3.1 - 使用Helm卸载

5.1.3.1.1 - Kubernetes、OpenShift、Tanzu卸载华为CSI

本章节介绍如何在Kubernetes、OpenShift、Tanzu平台卸载华为CSI。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载华为CSI，其中 helm-huawei-csi 是自定义的Helm Chart名称，huawei-csi 是该Helm Chart所在的命名空间。该卸载命令将会卸载华为CSI的huawei-csi-controller、huawei-csi-node和RBAC资源。

   helm uninstall helm-huawei-csi -n huawei-csi
   

   卸载命令执行后，还需要检查卸载是否成功。其中 huawei-csi 为chart所在的命名空间。

   helm list -n huawei-csi
   

   命令结果示例如下，如果回显为空，则表示服务卸载成功。

   NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
   

3. 卸载huawei-csi-host-info对象，请参考 卸载huawei-csi-host-info对象 进行操作。

4. 卸载webhook资源，请参考 卸载Webhook资源 进行操作。

5. （可选）卸载快照依赖组件服务，请参考 卸载Snapshot依赖组件服务 进行操作。

6. （可选）卸载Lease资源，请参考 卸载Lease资源 进行操作。

7. （可选）执行以下命令，删除华为CSI所在的命名空间，这里以默认命名空间 huawei-csi 为例：

   kubectl delete ns huawei-csi
   

5.1.3.1.2 - CCE或CCE Agile卸载华为CSI

本章节介绍如何在CCE或CCE Agile平台卸载华为CSI，以CCE Agile v22.3.2为例。

操作步骤

1. 登录CCE Agile平台。

2. 在主页单击“模板市场 > 模板实例 ”，进入模板实例页面。

3. 选择华为CSI模板实例，单击“卸载”，在弹出的提示框中单击“确定”。

   

4. 卸载huawei-csi-host-info对象，请参考 卸载huawei-csi-host-info对象 进行操作。

5. 卸载webhook资源，请参考 卸载Webhook资源 进行操作。

6. （可选）卸载快照依赖组件服务，请参考 卸载Snapshot依赖组件服务 进行操作。

7. （可选）执行以下命令，删除华为CSI所在的命名空间，这里命名空间以 huawei-csi 为例：

   kubectl delete ns huawei-csi
   

5.1.3.1.3 - 卸载CSI依赖组件服务

本章节介绍如何卸载CSI依赖组件服务。

卸载huawei-csi-host-info对象

名称为huawei-csi-host-info的Secret对象中保存着集群中各个节点的启动器信息，例如iSCSI启动器。使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令卸载Secret对象，其中huawei-csi-host-info是Secret对象的名称，huawei-csi是Secret对象所在的命名空间。

   kubectl delete secret huawei-csi-host-info -n huawei-csi
   

3. 执行以下命令检查Secret对象是否卸载成功。

   kubectl get secret huawei-csi-host-info -n huawei-csi 
   

   命令结果示例如下，如果命令回显提示“NotFound”表示huawei-csi-host-info对象已成功卸载。

   Error from server (NotFound): secrets "huawei-csi-host-info" not found
   

卸载Webhook资源

名称为storage-backend-controller.xuanwu.huawei.io的webhook资源用于校验Backend的秘钥信息和与存储的连通性，使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，查询webhook依赖组件服务。

   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

   命令结果示例如下：

   NAME                                          WEBHOOKS   AGE
   storage-backend-controller.xuanwu.huawei.io   1          12d
   

3. 执行以下命令，卸载webhook依赖组件服务。

   kubectl delete validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

4. 执行以下命令，检查服务是否已成功卸载。如果结果为空，表示已成功卸载。

   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io storage-backend-controller.xuanwu.huawei.io
   

卸载Snapshot依赖组件服务

• 请勿在存在快照时卸载Snapshot依赖组件服务，否则Kubernetes会自动删除所有的用户快照且无法恢复。详细说明请参见 删除 CustomResourceDefinition 。
• 请勿在CSI升级时卸载Snapshot依赖组件服务。

场景说明

• 当前华为CSI使用了快照特性。
• 当前Kubernetes集群仅存在华为CSI，且不再使用华为CSI。
• 在卸载前请确保在Kubernetes集群中已经没有华为CSI管理的VolumeSnapshot资源。

操作步骤

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，卸载Snapshot依赖组件服务。

   kubectl delete crd volumesnapshotclasses.snapshot.storage.k8s.io volumesnapshotcontents.snapshot.storage.k8s.io volumesnapshots.snapshot.storage.k8s.io
   

3. 执行以下命令，检查服务是否已成功卸载。如果结果为空，表示已成功卸载。

   kubectl get crd | grep snapshot.storage.k8s.io
   

卸载Lease资源

当使用多副本方式部署huawei-csi-controller时，会生成Lease资源，用于保存当前Holder信息。使用helm uninstall命令时不会卸载该资源，若需卸载该资源，请参考以下步骤：

1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

2. 执行以下命令，查询Lease信息。

   kubectl get lease -n huawei-csi
   

   命令结果示例如下：

   NAME                                         HOLDER    AGE
   csi-huawei-com                               node-1    24d
   external-attacher-leader-csi-huawei-com      node-1    24d
   external-resizer-csi-huawei-com              node-1    24d
   external-snapshotter-leader-csi-huawei-com   node-1    24d
   snapshot-controller-leader                   node-1    24d
   storage-backend-controller                   node-1    24d
   huawei-csi-extender                          node-1    24d
   

3. 执行以下命令，卸载Lease资源。

   kubectl delete lease -n huawei-csi csi-huawei-com external-attacher-leader-csi-huawei-com external-resizer-csi-huawei-com external-snapshotter-leader-csi-
   

4. 执行以下命令，检查是否已成功卸载。

   kubectl get lease -n huawei-csi
   

   命令结果示例如下，如果结果为空，表示已成功卸载。

   No resources found in huawei-csi namespace.