告别sinfo的‘简陋’输出：手把手教你用Bash脚本打造Slurm集群状态监控面板

告别sinfo的‘简陋’输出手把手教你用Bash脚本打造Slurm集群状态监控面板在Slurm集群的日常运维中管理员和高级用户经常需要快速掌握集群的整体状态。原生的sinfo和squeue命令虽然功能强大但默认输出往往信息分散、格式杂乱特别是在处理大规模集群时用户需要花费大量时间在原始数据中寻找关键信息。本文将带你从零开始构建一个功能完善的Slurm集群监控面板通过精心设计的Bash脚本将分散的节点状态、资源使用情况和作业信息整合成一个直观的可视化界面。1. 为什么需要自定义监控面板Slurm作为高性能计算领域最常用的作业调度系统其命令行工具提供了丰富的集群管理功能。但默认输出存在几个明显痛点信息分散节点状态、资源使用和作业列表分散在不同命令的输出中可读性差关键数据淹没在大量文本中缺乏视觉焦点缺乏上下文资源使用情况与运行作业无法直观关联定制困难默认输出格式固定难以满足不同场景的监控需求一个设计良好的监控面板应该具备以下特征# 理想监控面板的示例输出 Hostname Partition Node/State Num_CPU CPUload Memsize(MB) Freemem(MB) GRES/Node Joblist node01 gpu-part idle 32 0.12 128000 112000 gpu:2 - node02 cpu-part allocated 64 1.85 256000 48000 - 12345(user1)2. 构建监控面板的核心组件2.1 基础信息采集监控面板的核心是从Slurm获取原始数据并进行加工处理。我们需要组合使用多个Slurm命令# 获取节点基础信息 nodes$(sinfo -o %N %P %T %C %O %m %e %G -h) # 获取作业列表 jobs$(squeue -h -o %i %u %b %N)关键字段说明字段说明来源命令%N节点名sinfo%P分区名sinfo%T节点状态sinfo%CCPU数量sinfo%OCPU负载sinfo%m内存总量sinfo%e可用内存sinfo%G通用资源sinfo%i作业IDsqueue%u用户名squeue%b资源需求squeue2.2 数据处理与格式化获取原始数据后需要通过awk、sed等工具进行加工处理# 示例提取并格式化节点信息 echo $nodes | while read node; do hostname$(echo $node | awk {print $1}) partition$(echo $node | awk {print $2}) state$(echo $node | awk {print $3}) # 其他字段处理... done对于作业列表我们需要按节点进行分组和聚合# 获取指定节点的作业列表 get_jobs_for_node() { local node$1 squeue -h -o %i(%u) -w $node | tr \n }2.3 可视化增强为提高可读性我们可以添加颜色编码和表格布局# 定义颜色常量 RED\033[0;31m GREEN\033[0;32m YELLOW\033[0;33m NC\033[0m # No Color # 根据状态设置颜色 get_state_color() { case $1 in idle) echo $GREEN ;; allocated) echo $RED ;; mixed) echo $YELLOW ;; *) echo $NC ;; esac }3. 完整脚本实现以下是整合所有功能的完整脚本实现#!/bin/bash # 颜色定义 RED\033[0;31m GREEN\033[0;32m YELLOW\033[0;33m BLUE\033[0;34m NC\033[0m # No Color # 列宽定义 COL_HOST15 COL_PART12 COL_STATE11 COL_CPU15 COL_LOAD8 COL_MEM_T12 COL_MEM_F12 COL_GRES15 COL_JOBS30 # 打印表头 printf ${BLUE}%-${COL_HOST}s %-${COL_PART}s %-${COL_STATE}s %-${COL_CPU}s %-${COL_LOAD}s %-${COL_MEM_T}s %-${COL_MEM_F}s %-${COL_GRES}s %-${COL_JOBS}s${NC}\n \ Hostname Partition State CPU(C/T) Load MemTotal MemFree GRES Jobs(User) # 获取节点信息并处理 sinfo -o %N %P %T %c %O %m %e %G -h | while read node; do # 解析节点信息 hostname$(echo $node | awk {print $1}) partition$(echo $node | awk {print $2}) state$(echo $node | awk {print $3}) cores_total$(echo $node | awk {print $4}) load$(echo $node | awk {print $5}) mem_total$(echo $node | awk {print $6}) mem_free$(echo $node | awk {print $7}) gres$(echo $node | awk {print $8}) # 获取作业信息 jobs$(squeue -h -o %i(%u) -w $hostname | tr \n ) # 设置状态颜色 case $state in idle) color$GREEN ;; allocated) color$RED ;; mixed) color$YELLOW ;; *) color$NC ;; esac # 打印节点信息 printf %-${COL_HOST}s %-${COL_PART}s ${color}%-${COL_STATE}s${NC} %-${COL_CPU}s %-${COL_LOAD}s %-${COL_MEM_T}s %-${COL_MEM_F}s %-${COL_GRES}s %-${COL_JOBS}s\n \ $hostname $partition $state $cores_total $load $mem_total $mem_free $gres $jobs done4. 高级功能扩展4.1 实时刷新功能通过watch命令实现自动刷新watch -n 10 -c ./slurm_dashboard.sh4.2 资源使用率计算添加CPU和内存使用率计算# 计算CPU使用率 cpu_usage$(echo scale1; $load * 100 / $cores_total | bc) # 计算内存使用率 mem_usage$(echo scale1; ($mem_total - $mem_free) * 100 / $mem_total | bc)4.3 告警阈值设置根据资源使用率添加颜色提示# CPU使用率颜色 if (( $(echo $cpu_usage 90 | bc -l) )); then cpu_color$RED elif (( $(echo $cpu_usage 70 | bc -l) )); then cpu_color$YELLOW else cpu_color$GREEN fi4.4 多维度排序支持添加按CPU、内存等指标排序的功能# 按CPU使用率排序 sorted_nodes$(sinfo -o %N %P %T %c %O %m %e %G -h | sort -k5 -rn)5. 部署与集成5.1 系统级部署将脚本部署为系统命令供所有用户使用# 复制脚本到系统目录 sudo cp slurm_dashboard.sh /usr/local/bin/slurm-dashboard # 设置执行权限 sudo chmod x /usr/local/bin/slurm-dashboard5.2 登录自动显示在/etc/profile.d/中添加脚本实现登录时自动显示# 创建自动执行脚本 echo [[ $- *i* ]] slurm-dashboard | sudo tee /etc/profile.d/slurm-dashboard.sh # 设置权限 sudo chmod x /etc/profile.d/slurm-dashboard.sh5.3 Web界面集成通过CGI脚本将监控面板集成到Web界面#!/bin/bash echo Content-type: text/html echo echo pre slurm-dashboard echo /pre6. 性能优化技巧对于大型集群原始命令执行可能较慢可以采用以下优化措施并行获取数据使用GNU parallel并行执行节点信息采集缓存机制对不常变化的信息进行缓存增量更新只更新发生变化的部分数据预处理在后台定期运行信息采集任务# 使用parallel并行处理 sinfo -o %N -h | parallel -j 10 sinfo -o %N %P %T %c %O %m %e %G -h -n {}在实际部署中我们发现对于超过100个节点的集群合理的脚本优化可以将响应时间从10秒以上降低到2秒以内。