存储后端相关问题 on Huawei

使用oceanctl工具创建后端失败，报错：context deadline exceeded

Mon, 01 Jan 0001 00:00:00 +0000

现象描述

用户使用oceanctl工具创建存储后端失败，控制台回显：“failed to call webhook: xxx :context deadline exceeded; error: exist status 1”。

根因分析

创建存储后端时，将会调用CSI提供的webhook服务校验与存储管理网络的连通性和存储账号密码信息，出现该问题原因可能是以下两种原因：

华为CSI校验存储管理网络连通性失败。
kube-apiserver和CSI webhook通信异常。

华为CSI校验存储管理网络连通性失败

请按照以下步骤检查是否是华为CSI校验存储管理网络连通性失败。

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

执行命令，获取CSI服务信息。其中，huawei-csi为CSI服务部署的命名空间。

kubectl get pod -n huawei-csi -owide

命令结果示例如下：

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
huawei-csi-controller-xxx 9/9 Running 0 19h host-ip1 host-1 <none> <none>
huawei-csi-node-mnqbz 3/3 Running 0 19h host-ip1 host-1 <none> <none>

登录huawei-csi-controller所在节点，如 2 中的host-1。
进入到/var/log/huawei目录。
```
# cd /var/log/huawei
```
查看storage-backend-controller日志，以连接存储超时为例。
```
tail -n 1000 storage-backend-controller
```
日志示例如下：

使用oceanctl工具获取存储后端时，ONLINE字段值为false

Mon, 01 Jan 0001 00:00:00 +0000

现象描述

执行下列命令，查看存储后端状态：

oceanctl get backend

存储后端ONLINE字段值为false：

NAMESPACE NAME PROTOCOL STORAGETYPE SN STATUS ONLINE Url
huawei-csi backend-201-nas-nfs nfs oceanstor-nas XXXXXXXXXXXXXX000006 Bound false https://192.168.129.157:8088

根因分析

CSI使用创建存储后端时输入的账户和密码登录存储后端，若因为下列原因登录失败，则会将ONLINE字段值设置为false：

账户密码错误：该原因可能是在存储侧修改密码后，未在Kubernetes集群侧更新导致。参考下列解决措施或规避方法进行解决。
账户被锁定：该问题请参考存储侧更新密码后账户被锁定解决

解决措施或规避方法

获取最新的账户密码。
按照更新存储后端密码所示，更新存储后端密码。

存储侧更新密码后账户被锁定

Mon, 01 Jan 0001 00:00:00 +0000

现象描述

用户在存储侧修改后端密码之后，该后端账号被锁定。

根因分析

CSI登录存储时使用存储后端配置的账户和密码，当存储侧修改了该账户密码之后，CSI登录失败后会重试。以OceanStor Dorado存储为例，默认的登录策略是密码校验失败3次后将会锁定账户，因此当CSI重试超过3次之后，该账户就会被锁定。

解决措施或规避方法

如果后端配置的账户是admin，请执行以下命令，将huawei-csi-controller服务副本数置为0，如果使用的是非admin账户，忽略此步骤。
```
kubectl scale deployment huawei-csi-controller -n huawei-csi --replicas=0
```
使用admin账户登录存储，修改登录策略。以OceanStor Dorado存储为例，在DeviceManager管理界面，选择“设置 > 用户与安全 > 安全策略 >登录策略 >修改>密码锁定”，取消密码锁定。
如果如果后端配置的账户是admin，执行以下命令，通过“–replicas=*”恢复CSI Controller的副本数，下例为恢复至1个，请根据实际情况修改。如果使用的是非admin账户，忽略此步骤。
```
kubectl scale deployment huawei-csi-controller -n huawei-csi --replicas=1
```
使用oceanctl工具修改存储后端密码，修改后端密码请参考更新存储后端章节。
使用admin账户登录存储，修改登录策略，以OceanStor Dorado存储为例，在DeviceManager管理界面，选择“设置 > 用户与安全 > 安全策略 >登录策略 >修改>密码锁定”，恢复密码锁定。