常见运维操作 on Huawei

安装Helm 3

Mon, 01 Jan 0001 00:00:00 +0000

本章节指导用户如何安装Helm 3。

前提条件

确保Kubernetes集群中的master节点可以访问Internet。

操作步骤

执行以下命令，下载Helm 3的安装脚本。

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3

执行以下命令，修改Helm 3的安装脚本权限。
```
chmod 700 get_helm.sh
```
根据Helm与Kubernetes版本配套关系确认需要安装的Helm版本，配套关系请参考 Helm Version Support Policy ，执行以下命令，修改DESIRED_VERSION环境变量为需要安装的Helm版本，并执行安装命令。
```
DESIRED_VERSION=v3.9.0 ./get_helm.sh
```

执行以下命令，查看指定版本的Helm 3是否安装成功。

helm version

命令结果示例如下，说明安装成功。

version.BuildInfo{Version:"v3.9.0", GitCommit:"7ceeda6c585217a19a1131663d8cd1f7d641b2a7", GitTreeState:"clean", GoVersion:"go1.17.5"}

下载容器镜像

Mon, 01 Jan 0001 00:00:00 +0000

使用containerd下载容器镜像

执行以下命令，下载镜像到本地。其中 image:tag 表示需要拉取的镜像及其标签。
```
ctr image pull <image>:<tag>
```
执行以下命令，导出镜像到文件。其中 image:tag 表示需要导出的镜像，file 表示镜像导出后的文件名称。
```
ctr image export <file>.tar <image>:<tag>
```

使用Docker下载容器镜像

执行以下命令，下载镜像到本地。其中 image:tag 表示需要拉去的镜像。
```
docker pull <image>:<tag>
```
执行以下命令，导出镜像到文件。其中 image:tag 表示需要导出的镜像，file 表示镜像导出后的文件名称。
```
docker save <image>:<tag> -o <file>.tar
```

使用Podman下载容器镜像

执行以下命令，下载镜像到本地。其中 image:tag 表示需要拉去的镜像。
```
podman pull <image>:<tag>
```
执行以下命令，导出镜像到文件。其中 image:tag 表示需要导出的镜像，file 表示镜像导出后的文件名称。
```
podman save <image>:<tag> -o <file>.tar 
```

更新huawei-csi-controller或huawei-csi-node服务

Mon, 01 Jan 0001 00:00:00 +0000

当您需要更新huawei-csi-controller或huawei-csi-node服务时，例如修改huawei-csi-controller服务的副本数时，执行此操作。

操作步骤

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
进入/helm/esdk 目录，执行以下命令，获取原有服务配置文件。其中helm-huawei-csi为旧版本安装时指定的Helm Chart名称，huawei-csi为旧版本安装时指定的Helm Chart命名空间。组件包路径请参考表1 。
```
helm get values helm-huawei-csi -n huawei-csi -a > ./update-values.yaml
```
执行 vi update-values.yaml 命令打开 2 中获取的文件，参考 Helm values.yaml参数说明修改配置项，修改完成后，按Esc，并输入 :wq!，保存修改。

执行以下命令更新华为CSI服务。

helm upgrade helm-huawei-csi ./ -n huawei-csi -f ./update-values.yaml

修改日志输出模式

Mon, 01 Jan 0001 00:00:00 +0000

huawei-csi支持两种日志输出模式，分别是file和console。file指的是输出到固定的日志目录（例如：/var/log/huawei）；console指的是输出到容器标准目录。用户可以根据自身需求自行设置日志输出模式，默认为file.

操作步骤

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
进入/helm/esdk 目录，执行以下命令，获取原有服务配置文件。其中helm-huawei-csi为旧版本安装时指定的Helm Chart名称，huawei-csi为旧版本安装时指定的Helm Chart命名空间。组件包路径请参考表1 。
```
helm get values helm-huawei-csi -n huawei-csi -a > ./update-values.yaml
```

执行vi update-values.yaml命令打开 2 中获取的文件，修改配置项，修改完成后，按Esc，并输入 :wq!，保存修改。

# The CSI driver parameter configuration
csiDriver:
 # Driver name, it is strongly recommended not to modify this parameter
 # The CCE platform needs to modify this parameter, e.g. csi.oceanstor.com
 driverName: csi.huawei.com
 # Endpoint, it is strongly recommended not to modify this parameter
 endpoint: /csi/csi.sock
 # DR Endpoint, it is strongly recommended not to modify this parameter
 drEndpoint: /csi/dr-csi.sock
 # Maximum number of concurrent disk scans or detaches, support 1~10
 connectorThreads: 4
 # Flag to enable or disable volume multipath access, support [true, false]
 volumeUseMultipath: true
 # Multipath software used by fc/iscsi. support [DM-multipath, HW-UltraPath, HW-UltraPath-NVMe]
 scsiMultipathType: DM-multipath
 # Multipath software used by roce-nvme/fc-nvme. only support [HW-UltraPath-NVMe]
 nvmeMultipathType: HW-UltraPath-NVMe
 # Timeout interval for waiting for multipath aggregation when DM-multipath is used on the host. support 1~600
 scanVolumeTimeout: 3
 # Timeout interval for running command on the host. support 1~600
 execCommandTimeout: 30
 # check the number of paths for multipath aggregation
 # Allowed values:
 # true: the number of paths aggregated by DM-multipath is equal to the number of online paths
 # false: the number of paths aggregated by DM-multipath is not checked.
 # Default value: false
 allPathOnline: false
 # Interval for updating backend capabilities. support 60~600
 backendUpdateInterval: 60
 # Huawei-csi-controller log configuration
 controllerLogging:
 # Log record type, support [file, console]
 module: file
 # Log Level, support [debug, info, warning, error, fatal]
 level: info
 # Directory for storing logs
 fileDir: /var/log/huawei
 # Size of a single log file
 fileSize: 20M
 # Maximum number of log files that can be backed up.
 maxBackups: 9
 # Huawei-csi-node log configuration
 nodeLogging:
 # Log record type, support [file, console]
 module: file
 # Log Level, support [debug, info, warning, error, fatal]
 level: info
 # Directory for storing logs
 fileDir: /var/log/huawei
 # Size of a single log file
 fileSize: 20M
 # Maximum number of log files that can be backed up.
 maxBackups: 9

执行以下命令更新日志配置。

开启ReadWriteOncePod功能门

Mon, 01 Jan 0001 00:00:00 +0000

ReadWriteOnce访问模式是Kubernetes v1.22版本为PV和PVC引入的第四种访问模式。如果您使用ReadWriteOncePod访问模式的PVC创建一个Pod，Kubernetes会确保该Pod是整个集群中唯一可以读取或写入该PVC的Pod。

若Kubernetes版本小于v1.29，需要先在kube-apiserver、kube-scheduler和kubelet的feature-gates中开启ReadWriteOncePod特性才能使用。

当前CCE或CCE Agile平台不支持开启ReadWriteOncePod功能门

操作步骤

为kube-apiserver启用ReadWriteOncePod功能门。
1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
2. 执行vi /etc/kubernetes/manifests/kube-apiserver.yaml命令，按I或Insert进入编辑状态，为 kube-apiserver容器添加参数–feature-gates=ReadWriteOncePod=true。修改完成后，按Esc，并输入 :wq!，保存修改。
```
...
spec:
 containers:
 - command:
 - kube-apiserver
 - --feature-gates=ReadWriteOncePod=true
 ...
```
  在编辑完成后，Kubernetes会自动应用更新，不需要手动更新。
为kube-scheduler启用ReadWriteOncePod功能门。
1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。
2. 执行vi /etc/kubernetes/manifests/kube-scheduler.yaml命令，按I或Insert进入编辑状态，为kube-scheduler容器添加参数–feature-gates=ReadWriteOncePod=true。修改完成后，按Esc，并输入 :wq!，保存修改。
```
…
spec:
 containers:
 - command:
 - kube-scheduler
 - --feature-gates=ReadWriteOncePod=true
 ...
```
  在编辑完成后，Kubernetes会自动应用更新，不需要手动更新。
为kubelet启用ReadWriteOncePod功能门。

由于动态Kubelet配置功能在v1.22中已弃用，并且在v1.24中删除，因此集群中每个worker节点上的kubelet都需要执行以下操作。
1. 使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意worker节点。
2. 执行vi /var/lib/kubelet/config.yaml命令，按I或Insert进入编辑状态，为KubeletConfiguration对象的featureGates字段添加ReadWriteOncePod: true，如果没有featureGates字段请一并添加。修改完成后，按Esc，并输入 :wq!，保存修改。
```
apiVersion: kubelet.config.k8s.io/v1beta1
featureGates:
 ReadWriteOncePod: true
 ...
```
  kubelet配置文件的默认路径为/var/lib/kubelet/config.yaml，请根据实际情况填写。

配置非root用户访问Kubernetes集群

Mon, 01 Jan 0001 00:00:00 +0000

操作步骤

拷贝Kubernetes集群的认证文件，/etc/kubernetes/admin.conf修改为实际使用的认证文件。
```
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
```

修改认证文件的用户与用户组。

sudo chown $(id -u):$(id -g) $HOME/.kube/config

配置当前用户的KUBECONFIG环境变量，以Ubuntu 20.04举例如下。

echo "export KUBECONFIG=$HOME/.kube/config" >> ~/.bashrc
source ~/.bashrc

配置存储拓扑感知

Mon, 01 Jan 0001 00:00:00 +0000

在Kubernetes集群中，可以根据节点的拓扑标签以及存储后端支持的拓扑能力调度和发放资源。

前提条件

需要在集群中的worker节点完成拓扑的标签配置，标签配置方法如下：

使用远程访问工具（以PuTTY为例），通过管理IP地址，登录Kubernetes集群的任意master节点。

执行以下命令，查看当前集群中的worker节点信息。

kubectl get node

命令结果示例如下：

NAME STATUS ROLES AGE VERSION
node01 Ready controlplane,etcd,worker 42d v1.22.3
node02 Ready worker 42d v1.22.3
node03 Ready worker 42d v1.22.3

执行以下命令，给worker节点配置拓扑标签。其中_ nodename _为worker节点名称, key 和 value 参数说明请参考表1 。

kubectl label node <nodename> <key>=<value>

表 1 拓扑标签参数说明

参数名	参数描述	备注
<key>	拓扑标签的唯一标识。	可支持配置：zone，region，protocol.<protocol> 其中<protocol>可支持配置iscsi, nfs, fc, roce-nvme。
<value>	拓扑标签的参数值。	“key”如果是 “zone”，“region”，“value”值为自定义参数。 “key”如果是protocol.<protocol>， “value”值固定为 “csi.huawei.com”。

参数名

参数描述

备注

<key>

拓扑标签的唯一标识。

可支持配置：zone，region，protocol.<protocol>

其中<protocol>可支持配置iscsi, nfs, fc, roce-nvme。

<value>

拓扑标签的参数值。

“key”如果是 “zone”，“region”，“value”值为自定义参数。

“key”如果是protocol.<protocol>， “value”值固定为 “csi.huawei.com”。

拓扑标签必须以topology.kubernetes.io开头。拓扑标签示例：

示例1：topology.kubernetes.io/region=China-west

示例2：topology.kubernetes.io/zone=ChengDu

示例3：topology.kubernetes.io/protocol.iscsi=csi.huawei.com

示例4：topology.kubernetes.io/protocol.fc=csi.huawei.com

同一节点上拓扑标签中同一个key只能支持一个value值。

如果同一节点上拓扑标签中同时配置多个protocol，配置StorageClass时，StorageClass只需要满足其中一个protocol即可。

如果同一节点上拓扑标签中同时配置region和zone，配置StorageClass时，StorageClass需要满足全部筛选条件。

执行命令，查看当前集群中所有worker节点的标签信息。

kubectl get nodes -o=jsonpath='{range .items[*]}[{.metadata.name}, {.metadata.labels}]{"\n"}{end}' | grep --color "topology.kubernetes.io"

命令结果示例如下：