集群管理

kubeclipper 支持对 kubernetes 集群的全生命周期管理。

集群操作日志查看

在集群详情页面,点击“操作日志”标签页,可以查看集群操作日志列表。点击操作日志右侧“查看日志”按钮,可以在弹窗中查看全部步骤和节点的详细日志。点击左侧步骤名称,可查看执行步骤详细的日志输出。

在集群操作执行过程中,点击查看日志,您可以实时查看到日志更新来跟踪操作执行情况。对于执行失败的任务,您也可以通过查看日志,找到红色圆点标注的执行步骤和节点,快速定位错误,排查操作失败原因。

任务失败后重试

对于任务执行失败,但排查错误原因后不需要修改任务参数的情况,您可以点击操作日志右侧的“从断点处重试”按钮,从断点处重新执行任务。

注意:重试操作并不是万能的,您需要自行判断任务执行失败的原因,处理后如果不需要更改执行任务时填写的参数,就可以点击重试按钮,从错误处重新开始执行。

集群操作(如创建、恢复、升级等)执行失败,可能会导致集群状态显示为“xx失败”并无法正常执行其他操作,如果从断点处重试也无法执行成功,您可以参考运维文档,手动修复集群问题。问题修复后,您可以点击集群右侧“更多”>“集群状态”>“重置状态”按钮,重置集群至正常状态。

访问集群 kubectl

Kubectl 是 Kubernetes 命令行工具,您可以用它在 Kubernetes 集群上运行命令。Kubectl 可用于部署应用、查看和管理集群资源、查看日志等。

您可以访问运行中集群的 kubectl,点击集群操作中的“更多“>”访问 kubectl”,就可以在集群 kuebectl 弹窗中执行 kubectl 命令行操作。

集群设置

编辑

您可以点击集群列表右侧“更多”>“集群设置”>“编辑”按钮,编辑集群描述、备份空间、外部访问 IP、集群标签信息。

保存为模版

您可以点击集群列表右侧“更多”>“集群设置”>“保存为模版”按钮,将集群信息保存为模版,以便再次创建相似配置的集群时使用。

CRI 镜像仓库配置

Docker 和 Containerd 使用 dockerhub 作为默认镜像仓库,如果您需要使用其他镜像仓库(特别是使用自签名 https 仓库或者 http 仓库),您需要配置 CRI 镜像仓库。

点击集群右侧“更多”>“集群设置”>“CRI 镜像仓库”按钮,在 CRI 镜像仓库弹窗中,配置您需要的镜像仓库,您可以选择平台中已存在的镜像仓库,也可以临时填写镜像仓库地址。对于自签名 https 仓库或者 http 仓库,建议您先在“集群管理”>“镜像仓库”页面添加仓库信息,再在此操作中配置。

集群节点管理

在集群详情页的“节点”列表页面,您可以查看当前集群中的节点列表,节点的规格、状态和角色信息。

添加集群节点

当集群负载较高时,您可以通过为集群添加节点来达到主动扩容的目的,添加新的“节点”不会影响现有的业务的运行。

在集群详情页的节点列表标签页下,点击左侧的“添加节点”按钮,在弹窗中选择可用节点,设置节点标签,点击“确认”按钮。当前版本仅支持添加工作节点。

移除集群节点

在集群详情页的节点列表标签页下,您可以点击节点右侧的 “移除”按钮移除节点。当前版本仅支持移除工作节点。

注意:移除集群节点,您需要注意生产中的安全问题,避免应用发生中断。

集群备份和恢复

KubeClipper 对 kubernetes 集群的备份主要为备份 ETCD 数据库数据,以及 kubernetes 的资源对象备份,如 namespace,deployment、configMap。对资源自身产生的文件和数据不做备份,例如对集群中运行的 mysql pod,该 mysql pod 产生的数据和文件,不会为之备份,同理,文件类的 pv 对象下的文件,也不做备份,仅仅备份 pv 这个对象。KubeClipper 提供的备份功能是热备份,备份期间不影响集群的使用。KubeClipper 虽然不反对在集群 “繁忙期” 备份,但也强烈不赞成在集群 “繁忙期” 备份。

创建备份空间

执行备份之前,您需要先为集群设置备份空间,即设置备份文件的存储位置。备份空间的存储类型可以是 FS 存储或 S3 存储,下面以节点本地存储、NFS 存储和 MINIO 存储为例:

  • 节点本地存储(仅适用单节点实验集群):
  1. 创建存储目录。连接集群 master 节点终端(可参见连接节点终端),使用 mkdir 命令,在 master 节点中创建“/root/backup”目录。
  2. 创建备份空间。点击“集群管理”>“备份空间”,进入备份空间列表页,点击右上角“创建”按钮,在创建备份空间弹窗中,输入“备份空间名称”,如 “local”,选择“存储类型”为 “FS”,填写“备份路径”,如 “/root/backup”。
  3. 设置集群备份空间。创建集群时,在“集群配置”页面选择“备份空间”为 “local”,或者编辑已有集群,在编辑集群弹窗中的“备份空间”中选择 “local”。

注意:使用本地节点存储备份文件,不需要引入外部存储,缺点是如果本地节点遭到破坏,备份文件也会丢失,所以强烈不赞成在生产环境中使用。

  • NFS:
  1. 准备 NFS 存储。准备一台 NFS 服务,并在 NFS 服务器上创建一个用于存放备份文件的目录,如 “/data/kubeclipper/cluster-backups”。

  2. 挂载存储目录。连接集群 master 节点终端(可参见连接节点终端),使用 mkdir 命令,在每个 master 节点中创建 “/data/kubeclipper/cluster-backups” 目录,并 mount 到 NFS 服务器的 /data/kubeclipper/cluster-backups 目录即可。

    命令示例:

    mount -t nfs { NFS_IP }:/data/kubeclipper/cluster-backups /opt/kubeclipper/cluster-backups -o proto=tcp -o nolock
    
  3. 创建备份空间。点击“集群管理”>“备份空间”,进入备份空间列表页,点击右上角“创建”按钮,在创建备份空间弹窗中,输入“备份空间名称”,如 “nfs”,选择“存储类型”为 “FS”,填写“备份路径”为 “/opt/kubeclipper/cluster-backups”。

  4. 设置集群备份空间。创建集群时,在“集群配置”页面选择“备份空间”为 “nfs”,或者编辑已有集群,在编辑集群弹窗中的“备份空间”中选择 “nfs”。

  • MINIO:
  1. 准备 MINIO 存储。搭建 MINIO 服务,部署过程参考官网 https://docs.min.io/docs/minio-quickstart-guide.html,也可以使用已有 MINIO 服务。
  2. 创建备份空间。点击“集群管理”>“备份空间”,进入备份空间列表页,点击右上角“创建”按钮,在创建备份空间弹窗中,输入“备份空间名称”,如 “minio”,选择“存储类型”为 “S3”,填写 “bucket 名称”,如 “kubeclipper-backups”,该 bucket 将由 kubeclipper 自动创建,“Endpoint” 中填写第一步 MINIO 存储服务的 ip 和端口号,填写服务用户名和密码,点击“确定”按钮。
  3. 设置集群备份空间。创建集群时,在“集群配置”页面选择“备份空间”为 “minio”,或者编辑已有集群,在编辑集群弹窗中的“备份空间”中选择“minio”。

您可以在“集群管理”的“备份空间”页面查看所有备份空间列表和详细信息,并执行以下操作:

  • 编辑:编辑备份空间描述,和 S3 类型备份空间的用户名/密码。

  • 删除:删除备份空间,备份空间下存在备份文件的,不允许删除。

集群备份

您可以点击集群操作中的“更多”>“备份和恢复”> “集群备份”按钮,备份集群 ETCD 数据。

您可以在集群详情页面的备份标签页下,查看当前集群的所有备份文件,还可以对备份执行以下操作:

  • 编辑:编辑备份描述。

  • 恢复:执行集群恢复操作,将集群恢复至指定备份状态。

  • 删除:删除指定备份文件。

定时备份

您也可以为集群创建定时备份,点击集群操作中的“更多”>“备份和恢复”> “定时备份”按钮,在定时备份弹窗中,输入定时备份名称、执行类型(重复执行/仅执行一次)和执行时间,并为重复执行的定时备份设置有效备份个数,点击“确认”按钮。

kubeClipper 会在您设置的执行时间为集群执行备份任务,备份文件会自动命名为“集群名称-定时备份名称-随机码”,对于重复执行的定时备份,kubeClipper 会在该定时任务下的备份文件超过有效备份个数时,自动删除超出个数的较早的备份文件。

定时备份添加完成后,可以在集群详情页的“定时备份”标签页查看定时备份信息,也可以在“备份”标签页查看定时备份产生的备份文件。

对于定时备份任务,您还可以执行以下操作:

  • 编辑:编辑定时备份任务执行时间,和重复执行的定时备份的有效备份个数。

  • 启用/禁用:禁用的定时备份任务将暂时停止执行。

  • 删除:删除定时备份任务。

集群备份恢复

如果您在集群正常运行期间执行恢复操作,则 KubeClipper 将对该集群进行覆盖式恢复,就是备份文件里面的 etcd 数据,覆盖现有的数据。

您可以在集群详情页的备份标签页下,点击备份右侧的 “恢复”按钮;或点击集群操作中的“更多”>“备份和恢复”>“恢复集群”按钮,在恢复集群弹窗中选择需要恢复的备份,可以将当前集群恢复至指定备份状态。

注意:集群升级后,将无法再恢复到升级前版本的备份。

集群状态

集群版本升级

如当集群版本不满足需要,您可以为集群升级 kubernetes 版本。与创建集群一样,您需要准备好集群版本所需配置包和目标版本的 kubernetes 镜像并上传至指定位置,详情参见创建集群准备工作

点击集群操作的“更多”>“集群状态”> “集群升级”按钮,在集群升级弹窗中选择安装方式和镜像仓库,选择升级的目标版本,升级的安装方式和 kubernetes 版本的配置与创建集群相同,详情参见集群配置指南

集群升级可以跨小版本,但不支持略过次版本的升级,如您可以从 v1.20.2 升级到 v1.20.13,或由 v1.20.x 升级到 v1.21.x,但不支持从 v1.20.x 升级到 v1.22.x。对于 1.23.x 版本,暂不支持升级到 1.24.x 版本。

升级集群操作可能需要较长时间,您可以在集群详情页面查看操作日志,跟踪集群升级状态。

删除集群

您可以点击集群列表右侧“更多”>“集群状态”> “删除”按钮,删除集群。

注意删除后集群不可恢复。请谨慎操作。如果集群对接了外部存储,回收策略为“保留”的存储类中的数据卷会被保留,您可以通过其他方式访问,或手动删除;回收策略为“删除”的存储类中的数据卷,会在删除集群时自动删除。

重置状态

集群操作(如创建、恢复、升级等)执行失败,可能会导致集群状态显示为“xx失败”并无法正常执行其他操作,如果从断点处重试也无法执行成功,您可以参考运维文档,手动修复集群问题。问题修复后,您可以点击集群右侧“更多”>“集群状态”>“重置状态”按钮,重置集群至正常状态。

集群插件管理

除了在创建集群时安装插件,您也可以为运行中的集群安装存储和其他自定义插件。以安装存储插件为例,点击集群操作中的“更多”>“插件管理”>“添加存储项”按钮,进入添加存储项页面,可以为集群安装存储插件,安装配置与创建集群中的配置相同。

对于已安装的插件,您可以在集群详情页查看插件信息,并执行以下操作:

  • 保存为模版:将插件信息保存为模版,以便为其他集群使用。

  • 移除插件:卸载集群插件。

集群证书管理

更新集群证书

kubernetes 集群证书默认有效期为一年,您可以在集群详情页的基本信息中查看证书过期时间,证书过期前一天,您也可以在集群列表看到证书过期的提醒。更新集群证书,您可以点击集群操作中的“更多”>“集群证书”>“更新集群证书”按钮,更新集群全部证书。

获取 kubeconfig 文件

您可以点击集群操作中的“更多”>“集群证书”>“查看 kubeconfig 文件”按钮,查看集群 kubeconfig 文件,也可以点击弹窗中的“下载”按钮,下载 kubeconfig 文件。