瑞芯微RK3588+麒麟V10国防版+昇腾310异构部署k8s集群+KubeSphere

1.产品属性昇腾310B上一篇已经介绍这里不再写。RK3588 是瑞芯微推出的旗舰级高性能 ARM 处理器,内置 6TOPS 算力的 NPU适合边缘计算、工业控制和人工智能领域。CPU和系统信息服务器情况主机名设备架构OS配置IPmaster1rk3588arm64麒麟V10国防版8核8G192.168.37.14master2rk3588arm64麒麟V10国防版8核8G192.168.37.16master3rk3588arm64麒麟V10国防版8核8G192.168.37.18node1310Barm64欧拉22.034核12G192.168.37.12node2rk3588arm64麒麟V10国防版8核8G192.168.37.20node3rk3588arm64麒麟V10国防版8核8G192.168.37.222.环境准备2.1 上传安装包将离线制品、配置文件、kt和sh脚本等上传至其中一个节点(本文以master为例)后续在该节点操作创建集群。这里我们为追求稳定性选择了k8s 1.23.17版本ks 4.1.3版本关于ktkt是基于kk二次开发的产物具备kk的所有功能。二开主要为适配信创国产化环境、简化arm部署过程和国产化环境离线部署。支持arm64和amd64架构国产操作系统已适配芯片操作系统 如下。kt****新增功能点适配arm架构harbor和支持部署体验与X86一样简单。离线环境部署增强。常用国际和国产操作系统依赖内置到安装包中。已适配芯片和操作系统如下./kt init-os -f config-sample.yaml一条命令完成所有节点操作系统依赖安装和初始化操作。CPU鲲鹏、飞腾、海光、兆芯、intel、amd等。OSCentos、Rocky Linux、Ubuntu、Debian、银河麒麟V10、麒麟V11、麒麟国防版、麒麟信安、中标麒麟V7、统信UOS、华为欧拉、移动大云、阿里龙蜥、TencentOS等。2.2 修改配置文件修改config-sample.yaml主要修改节点信息部分(如下hosts和roleGroups部分)kind: Cluster metadata: name: sample spec: hosts: - {name: master1, address: 192.168.137.14, internalAddress: 192.168.137.14, user: root, password: 123123, arch: arm64} - {name: master2, address: 192.168.137.16, internalAddress: 192.168.137.16, user: root, password: 123123, arch: arm64} - {name: master3, address: 192.168.137.18, internalAddress: 192.168.137.18, user: root, password: 123123, arch: arm64} - {name: node1, address: 192.168.137.12, internalAddress: 192.168.137.12, user: root, password: 123123, arch: arm64} - {name: node2, address: 192.168.137.20, internalAddress: 192.168.137.20, user: root, password: 123123, arch: arm64} - {name: node3, address: 192.168.137.22, internalAddress: 192.168.137.22, user: root, password: 123123, arch: arm64} roleGroups: etcd: - master1 - master2 - master3 control-plane: - master1 - master2 - master3 worker: - node1 - node2 - node3 # 如需使用 kk 自动部署镜像仓库请设置该主机组 建议仓库与集群分离部署减少相互影响 # 如果需要部署 harbor 并且 containerManager 为 containerd 时由于部署 harbor 依赖 docker建议单独节点部署 harbor registry: - master3 controlPlaneEndpoint: ## Internal loadbalancer for apiservers internalLoadbalancer: haproxy domain: lb.kubesphere.local address: port: 6443 kubernetes: version: v1.23.17 clusterName: cluster.local autoRenewCerts: true containerManager: docker etcd: type: kubekey network: plugin: flannel kubePodsCIDR: 10.233.64.0/18 kubeServiceCIDR: 10.233.0.0/18 ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni multusCNI: enabled: false2.3 系统初始化解压kt-arm64.tar.gz文件后执行./kt init-os -f config-sample.yaml3.创建私有仓库执行./kt init resigtry -f config-sample.yaml -a artica*等待一切安装成功后创建 Harbor 项目chmod x create_project_harbor.sh ./create_project_harbor.sh注意事项如果系统提示缺少iptables则需要安装先安装iptables4.创建k8s集群./kt create cluster -f config-sample.yaml -a artifact-arm-k8s12317tar.gz此命令kt会自动将离线制品中的镜像推送到harbor私有仓库执行后会有如下提示,输入yes/y继续执行等待最后提示安装成功注意由于该麒麟V10国防版是瑞芯微定制版内核缺少非常多的东西安装过程会报错。大体如下需要安装内核模块再创建k8s。最后k8s创建完成还是会报错,起初nodelocaldns会报错需要安装dummy模块。这里还需要修改kube-proxy和kube-flannel配置。都修改完成后重启服务等待一会 。查看节点状态kubectl get nodes -owide可以看到所有节点状态均已 Ready共有3个管理节点和3个工作节点其中管理节点也充当工作节点。查看pod运行情况kubectl get pod -A -owide可以看到所有pod已成功运行(ps:以下截图为装完ks和插件的截图)5.部署KubeSphere使用helm命令通过私有仓库安装kshelm upgrade --install -n kubesphere-system --create-namespace ks-core ks-core-1.1.5.tgz \ --set global.imageRegistrydockerhub.kubekey.local/ks \ --set extension.imageRegistrydockerhub.kubekey.local/ks \ --set ksExtensionRepository.image.tagv1.1.6 \ --debug \ --wait等待一会看到成功的消息6.验证登录页面默认用户名为admin默认密码P88w0rd首页集群管理安装监控插件直接从扩展市场安装这里不再记录具体过程概览集群节点集群状态监控节点信息昇腾310BRK35887.总结本文详细介绍了在瑞芯微RK3588麒麟V10国防版和华为昇腾310B欧拉异构环境下部署Kubernetes集群和KubeSphere管理平台并实现资源设备监控。下一步将实现将实现NPU设备统一调度。