简介在 Linux CFS 完全公平调度体系中传统基于 nice 权重的调度仅能实现 CPU 时间按比例均分无法对控制组cgroup v1/cgroup v2做硬性 CPU 使用上限约束。随着容器技术 Docker、K8s 大规模落地云主机资源配额隔离、嵌入式多业务分区运行、工控多进程资源隔离等场景迫切需要对一组进程整体限制最大 CPU 消耗CFS 带宽控制器就是依托 cfs_bandwidth 结构体实现配额管控。cfs_bandwidth 是内核kernel/sched/fair.c中 CFS 组调度带宽限流的核心数据载体所有 CPU 周期配额、剩余可用时间、突发扩容、定时器触发、节流等待队列等配置全部收纳在此结构体。内核依靠该结构体记录周期窗口时长、组最大可用 CPU 时间当组内所有进程累计占用 CPU 超出配额后触发节流throttle任务挂入等待队列暂停调度直到新周期刷新配额后解除限流。对于内核开发、容器底层研发、嵌入式实时系统调优、云计算运维工程师而言吃透cfs_bandwidth各个成员字段含义、字段变更时机、内核运行逻辑是排查容器 CPU 限额失效、业务莫名卡顿、突发带宽配置不生效、CFS 节流抖动等疑难问题的必备能力同时也是自研资源隔离框架、撰写调度相关毕业论文、定制内核 CPU 管控补丁的核心理论支撑。本文从基础概念、环境编译、源码拆解、用户态实操、故障排查全链路落地讲解所有示例代码与调试命令均可直接上机复现。一、核心概念与术语解析1.1 CFS 带宽限流基础模型CFS 带宽控制采用周期 配额二元管控模型挂载在 CPU cgroup 子系统quota配额一个周期内该 cgroup 分组全部进程总共能使用的 CPU 总时间单位微秒 usperiod周期带宽统计的统计窗口时长单位微秒 us默认 100ms 即 100000us例quota20000period100000代表该分组在每 100ms 周期内最多占用单个 CPU 20ms 时间等效限制 CPU 使用率上限 20%。突发带宽burstLinux 5.13 之后新增字段允许分组在空闲时积攒富余 CPU 时间业务瞬时峰值短时间超配额运行解决流量毛刺带来的频繁节流卡顿。1.2 调度实体层级task_group 与 cfs_bandwidth 绑定关系内核使用struct task_group表征一个 CPU 控制组每个 task_group 内嵌struct cfs_bandwidth成员struct task_group { struct cfs_bandwidth cfs_b; /* 当前分组带宽配置主体 */ struct sched_entity **se; struct cfs_rq **cfs_rq; /* 其他组调度运行队列成员省略 */ };一个 task_group 对应一个 cgroup 目录用户通过修改 cgroup 文件节点写入 quota/period/burst内核最终将参数落地保存至对应cfs_bandwidth结构体成员。1.3 关键限流术语throttle 节流分组周期内 CPU 耗时耗尽组内就绪任务停止调度加入阻塞等待队列unthrottle 解节流周期定时器到期刷新剩余可用配额被节流任务重新放回就绪队列参与调度runtime 剩余配额cfs_bandwidth 内部实时统计分组剩余可用 CPU 时间每消耗 CPU 时间则递减period_timer 周期定时器挂靠在 cfs_bandwidth 的内核定时器周期到达后重置剩余配额、释放节流任务。1.4 cfs_bandwidth 结构体核心定位cfs_bandwidth所有字段分为五大类周期配额配置字段、剩余运行时统计字段、定时器管理字段、节流任务队列字段、突发带宽统计字段所有 CFS 带宽限流逻辑的增减、判断、计时、排队全部围绕该结构体完成。二、环境准备2.1 软硬件环境清单环境项版本参数操作系统Ubuntu22.04 x86_64Linux 内核5.15 / 6.1 LTS主流发行版、容器生产环境通用内核编译依赖gcc 11.3、make、libncurses-dev、bison flex libelf-dev调试工具ftrace、perf、trace-cmd、crash (gdb 内核调试)cgroup 版本cgroup v2推荐现代容器默认兼容 v1说明5.13 及以上内核才完整支持 burst 突发带宽字段想要实操 burst 功能优先选用 6.1 内核。2.2 内核源码下载与编译配置1、安装编译依赖sudo apt update sudo apt install build-essential libncurses-dev bison flex libssl-dev libelf-dev git2、拉取 6.1 内核源码wget https://cdn.kernel.org/pub/linux/kernel/v6.x/linux-6.1.tar.xz tar -xvf linux-6.1.tar.xz cd linux-6.13、开启必要内核配置项cp /boot/config-$(uname -r) .config make menuconfig开启以下编译选项必须勾选否则无 cgroup 带宽与调试能力CONFIG_CGROUP_SCHEDy # 开启CFS组调度 CONFIG_CGROUP_CPUACCTy # CPU资源统计 CONFIG_CFS_BANDWIDTHy # 核心启用CFS带宽控制器 CONFIG_FTRACEy # 函数跟踪调试 CONFIG_SCHED_DEBUGy # 调度调试开关 CONFIG_DEBUG_FSy # 调试文件系统 CONFIG_CGROUP_BPFn # 按需关闭不影响本次实验4、编译安装内核make -j$(nproc) sudo make modules_install sudo make install sudo update-grub重启服务器在 grub 菜单选择新编译内核启动。2.3 源码文件路径kernel/sched/fair.c // cfs_bandwidth结构体定义、全部操作函数实现 kernel/sched/sched.h // task_group结构体定义三、应用场景约 300 字cfs_bandwidth 驱动的 CFS 带宽限流是容器资源隔离的底层基石在云服务器、边缘工控、音视频集群三大场景落地广泛。K8s 集群中 Deployment 配置resources.limits.cpukubelet 最终转化为 cgroup cpu 配额写入内核参数落地存储在 cfs_bandwidth依靠结构体周期与配额字段限制容器 Pod 最大 CPU 占用避免单个业务进程突刺耗尽整机算力。工业嵌入式 Linux 设备多业务分区部署时设备采集、数据上报、人机交互三类进程分属不同 cgroup通过配置 cfs_bandwidth 的 quota 隔离 CPU防止采集任务满载抢占交互进程导致界面卡顿。流媒体转码服务器场景借助 cfs_bandwidth 的 burst 突发字段配置短时带宽扩容应对瞬间并发转码峰值既长期限制平均 CPU 上限又避免瞬时流量触发频繁节流任务休眠。四、实际案例与步骤、源码 实操代码4.1 cfs_bandwidth 完整结构体源码逐字段注释截取sched.h中结构体定义6.1 内核原版代码附工程化注释struct cfs_bandwidth { #ifdef CONFIG_CFS_BANDWIDTH /* 1. 基础配额配置用户从cgroup文件写入的原始参数 */ u64 quota; /* 用户配置单周期总配额(us)-1代表无限制 */ u64 period; /* 用户配置统计周期(us)默认100000us100ms */ u64 burst; /* 突发带宽配额空闲积攒富余CPU时间上限(us) */ /* 2. 运行时动态统计字段内核实时计算剩余可用时间 */ u64 runtime; /* 当前周期剩余可用CPU时间消耗则递减 */ u64 prev_runtime; /* 上一轮周期剩余runtime用于burst积攒计算 */ ktime_t period_start; /* 当前周期起始内核时间戳 */ /* 3. 定时器相关周期刷新、节流解挂依靠定时器 */ struct hrtimer period_timer; /* 高精度周期定时器周期到触发配额刷新 */ ktime_t next_period; /* 下一个周期到期时间点 */ /* 4. 节流队列被限流无法运行的调度实体挂载链表 */ struct list_head throttled_cfs_rq; /* 本分组下所有被节流的cfs运行队列链表 */ int throttled; /* 当前被节流的cfs_rq计数0代表分组处于限流状态 */ /* 5. 自旋锁多CPU并发修改结构体成员的保护锁 */ raw_spinlock_t lock; #endif };代码说明quota/period/burst 是静态配置字段用户态修改 cgroup 文件触发内核写函数赋值runtime/throttled/throttled_cfs_rq 是动态运行字段进程调度运行、CPU 耗时变化实时变更period_timer 是高精度定时器是周期重置、解除节流的触发源。4.2 内核关键操作函数源码fair.c4.2.1 cfs_bandwidth_period_reset周期到期重置配额周期定时器到期触发刷新 runtime、释放被节流任务核心逻辑static void cfs_bandwidth_period_reset(struct cfs_bandwidth *cfs_b, struct task_group *tg) { raw_spin_lock(cfs_b-lock); /* 周期重置重新填充可用配额叠加burst积攒余量 */ cfs_b-runtime cfs_b-quota; if (cfs_b-burst cfs_b-quota cfs_b-prev_runtime 0) { cfs_b-runtime cfs_b-prev_runtime; /* 不能超过burst上限 */ if (cfs_b-runtime cfs_b-burst) cfs_b-runtime cfs_b-burst; } cfs_b-prev_runtime 0; /* 解除全部被节流的运行队列 */ if (cfs_b-throttled 0) { unthrottle_cfs_rq_list(cfs_b, tg); } /* 更新周期起始时间戳 */ cfs_b-period_start ktime_get(); raw_spin_unlock(cfs_b-lock); }功能每次 period 周期走完刷新剩余可用 CPU 时间若有积攒的 burst 余量追加 runtime唤醒之前因超配额被阻塞的进程。4.2.2 __refill_cfs_bandwidth_runtime进程消耗 CPU 扣减 runtime分组内进程运行消耗 CPU 时内核实时扣减 cfs_b-runtime耗尽触发节流static int __refill_cfs_bandwidth_runtime(struct cfs_rq *cfs_rq, u64 delta_exec) { struct task_group *tg cfs_rq-tg; struct cfs_bandwidth *cfs_b tg-cfs_b; raw_spin_lock(cfs_b-lock); /* 无配额限制直接返回不做限流 */ if (cfs_b-quota RUNTIME_INF) { raw_spin_unlock(cfs_b-lock); return 0; } /* 消耗CPU时间剩余配额递减 */ if (cfs_b-runtime delta_exec) { cfs_b-runtime - delta_exec; raw_spin_unlock(cfs_b-lock); return 0; } /* runtime耗尽触发节流当前cfs_rq加入阻塞链表 */ throttle_cfs_rq(cfs_rq, cfs_b); raw_spin_unlock(cfs_b-lock); return 1; }逻辑剩余 runtime 不够本次进程 CPU 消耗执行 throttle_cfs_rq将当前分组运行队列加入 throttled_cfs_rq 链表分组内任务暂停调度。4.3 用户态实操cgroup v2 配置 CPU 带宽修改 cfs_bandwidth 参数步骤 1挂载 cgroup2 文件系统# 创建挂载目录 sudo mkdir -p /sys/fs/cgroup2 # 挂载cgroup v2 sudo mount -t cgroup2 none /sys/fs/cgroup2 # 创建测试分组test_cfs_bw sudo mkdir /sys/fs/cgroup2/test_cfs_bw步骤 2配置带宽配额等效修改内核 cfs_bandwidth-quota/period# period100000us(默认100ms)quota20000us(20%CPU上限) echo 20000 100000 | sudo tee /sys/fs/cgroup2/test_cfs_bw/cpu.max # 配置burst突发上限50000us echo 50000 | sudo tee /sys/fs/cgroup2/test_cfs_bw/cpu.burstcpu.max 格式quota period写入后内核自动赋值到对应 task_group.cfs_bandwidth 的 quota、period 成员。步骤 3编写 CPU 压测程序消耗 CPU 触发 CFS 节流// cfs_stress.c 死循环消耗CPU用于触发带宽限流 #include stdio.h int main(void) { unsigned long cnt 0; while(1){ cnt; } return 0; }编译运行gcc cfs_stress.c -o cfs_stress # 后台启动压测进程 ./cfs_stress # 获取进程PID PID$! # 将进程加入cgroup分组 echo $PID | sudo tee /sys/fs/cgroup2/test_cfs_bw/cgroup.procs步骤 4ftrace 跟踪 cfs_bandwidth 相关内核函数观测节流触发# 挂载debugfs sudo mount -t debugfs none /sys/kernel/debug # 清空跟踪缓存 sudo echo /sys/kernel/debug/tracing/trace # 设置需要跟踪的带宽关键函数 sudo echo throttle_cfs_rq /sys/kernel/debug/tracing/set_ftrace_filter sudo echo unthrottle_cfs_rq_list /sys/kernel/debug/tracing/set_ftrace_filter sudo echo cfs_bandwidth_period_reset /sys/kernel/debug/tracing/set_ftrace_filter # 开启函数跟踪 sudo echo function /sys/kernel/debug/tracing/current_tracer sudo echo 1 /sys/kernel/debug/tracing/tracing_on # 等待30秒后关闭跟踪 sleep 30 sudo echo 0 /sys/kernel/debug/tracing/tracing_on # 查看跟踪日志能看到周期性throttle与unthrottle调用 cat /sys/kernel/debug/tracing/trace现象说明压测进程满载消耗 CPUruntime 快速耗尽触发throttle_cfs_rq每 100ms 周期定时器到期执行cfs_bandwidth_period_reset执行unthrottle_cfs_rq_list释放任务进程周期性启停CPU 稳定卡在 20% 左右。4.4 利用 crash 调试工具查看运行时 cfs_bandwidth 内存数据# 安装crash工具 sudo apt install crash # 获取内核符号 sudo apt install linux-image-6.1-dbg # 启动crash关联内核 sudo crash /usr/lib/debug/vmlinux-6.1 /dev/memcrash 交互终端执行# 查找test_cfs_bw对应的task_group结构体 search task_group # 查看cfs_bandwidth成员数值实时查看quota/runtime/throttled字段 struct cfs_bandwidth 0xxxxxxx可以直观看到运行中 runtime 持续下降、throttled 在 0/1 之间切换验证结构体动态变化逻辑。五、常见问题与解答Q1配置 cpu.max-1 100000 之后容器仍然被限流cfs_bandwidth 不生效答quota-1 在内核中定义为 RUNTIME_INF 无限配额若依旧限流优先核查1、内核 CONFIG_CFS_BANDWIDTH 配置是否开启2、父 cgroup 存在上层 CPU 限额子分组继承父带宽限制父 cfs_bandwidth 配额耗尽连带子分组节流3、系统存在 cpuset 绑定 CPU 数量少于业务进程数不是 CFS 带宽问题。通过 ftrace 跟踪throttle_cfs_rq判断节流来源分组。Q2配置 burst 突发带宽不生效cfs_b-burst 字段写入无效答burst 从 Linux5.13 版本正式并入主线低于该版本内核无此字段其次 burst 生效前提分组周期内空闲prev_runtime 积攒富余时间全程满载跑 CPU 无空闲时段无法积攒余量看不到突发扩容效果。调低 quota间歇启停压测程序即可复现 burst。Q3修改 cgroup cpu.max 参数后cfs_bandwidth-quota 没有实时更新答用户态写入 cpu.max 文件触发内核cpu_max_write函数内核加 cfs_b-lock 自旋锁后赋值若进程正在疯狂消耗 CPU 占用锁少量场景会延迟刷新可通过重新迁移进程出再入 cgroup强制触发参数重载。Q4perf 观测进程 CPU 使用率忽高忽低周期性抖动是 cfs_bandwidth 节流导致答大概率。配额过小runtime 快速耗尽进入 throttle 休眠周期到解节流瞬间 CPU 拉满形成锯齿曲线。解决方案适度调高 quota 或开启 burst 字段平滑瞬时峰值优化 cfs 带宽配置。六、实践建议与最佳实践容器生产配置规范K8s 配置 limits.cpu 时尽量避免极小配额小于 10ms/100ms 周期过小 quota 极易频繁触发 throttle业务周期性卡顿常规业务推荐 period 保持默认 100000usquota 按需配置峰值波动大的业务开启 burst。内核调试排障技巧排查 CPU 限额异常优先三步走①ftrace 跟踪 throttle_cfs_rq 确认是否触发 CFS 节流②crash 查看对应 task_group 的 cfs_bandwidth-runtime、throttled 字段实时值③逐层向上遍历父 cgroup排查上层分组带宽限制。嵌入式设备调优工控嵌入式产品固定硬件 CPU 核心使用 cpuset 绑定 cgroup 到指定核避免多核心调度导致 cfs_bandwidth 跨核统计错乱减少自旋锁竞争带来的微小调度开销。内核二次开发优化建议自研自定义带宽管控不要直接修改原生 cfs_bandwidth 结构体可基于现有字段扩展私有结构体挂载 task_group复用原生 period_timer 定时器与 throttle 队列逻辑规避原生调度锁与内核同步问题。线上故障应急方案业务因意外节流卡死时临时修改 cpu.max-1 解除配额限制快速恢复业务后续再优化配额与 burst 参数。七、总结与应用延伸全文围绕cfs_bandwidth结构体从字段定义、内核源码实现、用户态 cgroup 实操、调试排查完整梳理 CFS 带宽限流底层原理该结构体是 CFS 组调度 CPU 资源硬隔离的核心载体静态配置类字段quota/period/burst承接用户层 cgroup 配置动态统计字段runtime/throttled跟随进程调度实时变更定时器与链表字段实现周期刷新、任务节流排队整套闭环。从落地场景来看cfs_bandwidth 支撑了 Docker/K8s 容器资源限额、云主机租户资源隔离、嵌入式多业务分区资源管控三大主流方向从技术研究层面该结构体设计思路是操作系统资源限流经典实现可用于调度相关毕业论文撰写、内核资源隔离模块二次开发。
Linux 组调度的 cfs_bandwidth 结构体：带宽控制的核心配置
发布时间：2026/6/3 0:07:38
简介在 Linux CFS 完全公平调度体系中传统基于 nice 权重的调度仅能实现 CPU 时间按比例均分无法对控制组cgroup v1/cgroup v2做硬性 CPU 使用上限约束。随着容器技术 Docker、K8s 大规模落地云主机资源配额隔离、嵌入式多业务分区运行、工控多进程资源隔离等场景迫切需要对一组进程整体限制最大 CPU 消耗CFS 带宽控制器就是依托 cfs_bandwidth 结构体实现配额管控。cfs_bandwidth 是内核kernel/sched/fair.c中 CFS 组调度带宽限流的核心数据载体所有 CPU 周期配额、剩余可用时间、突发扩容、定时器触发、节流等待队列等配置全部收纳在此结构体。内核依靠该结构体记录周期窗口时长、组最大可用 CPU 时间当组内所有进程累计占用 CPU 超出配额后触发节流throttle任务挂入等待队列暂停调度直到新周期刷新配额后解除限流。对于内核开发、容器底层研发、嵌入式实时系统调优、云计算运维工程师而言吃透cfs_bandwidth各个成员字段含义、字段变更时机、内核运行逻辑是排查容器 CPU 限额失效、业务莫名卡顿、突发带宽配置不生效、CFS 节流抖动等疑难问题的必备能力同时也是自研资源隔离框架、撰写调度相关毕业论文、定制内核 CPU 管控补丁的核心理论支撑。本文从基础概念、环境编译、源码拆解、用户态实操、故障排查全链路落地讲解所有示例代码与调试命令均可直接上机复现。一、核心概念与术语解析1.1 CFS 带宽限流基础模型CFS 带宽控制采用周期 配额二元管控模型挂载在 CPU cgroup 子系统quota配额一个周期内该 cgroup 分组全部进程总共能使用的 CPU 总时间单位微秒 usperiod周期带宽统计的统计窗口时长单位微秒 us默认 100ms 即 100000us例quota20000period100000代表该分组在每 100ms 周期内最多占用单个 CPU 20ms 时间等效限制 CPU 使用率上限 20%。突发带宽burstLinux 5.13 之后新增字段允许分组在空闲时积攒富余 CPU 时间业务瞬时峰值短时间超配额运行解决流量毛刺带来的频繁节流卡顿。1.2 调度实体层级task_group 与 cfs_bandwidth 绑定关系内核使用struct task_group表征一个 CPU 控制组每个 task_group 内嵌struct cfs_bandwidth成员struct task_group { struct cfs_bandwidth cfs_b; /* 当前分组带宽配置主体 */ struct sched_entity **se; struct cfs_rq **cfs_rq; /* 其他组调度运行队列成员省略 */ };一个 task_group 对应一个 cgroup 目录用户通过修改 cgroup 文件节点写入 quota/period/burst内核最终将参数落地保存至对应cfs_bandwidth结构体成员。1.3 关键限流术语throttle 节流分组周期内 CPU 耗时耗尽组内就绪任务停止调度加入阻塞等待队列unthrottle 解节流周期定时器到期刷新剩余可用配额被节流任务重新放回就绪队列参与调度runtime 剩余配额cfs_bandwidth 内部实时统计分组剩余可用 CPU 时间每消耗 CPU 时间则递减period_timer 周期定时器挂靠在 cfs_bandwidth 的内核定时器周期到达后重置剩余配额、释放节流任务。1.4 cfs_bandwidth 结构体核心定位cfs_bandwidth所有字段分为五大类周期配额配置字段、剩余运行时统计字段、定时器管理字段、节流任务队列字段、突发带宽统计字段所有 CFS 带宽限流逻辑的增减、判断、计时、排队全部围绕该结构体完成。二、环境准备2.1 软硬件环境清单环境项版本参数操作系统Ubuntu22.04 x86_64Linux 内核5.15 / 6.1 LTS主流发行版、容器生产环境通用内核编译依赖gcc 11.3、make、libncurses-dev、bison flex libelf-dev调试工具ftrace、perf、trace-cmd、crash (gdb 内核调试)cgroup 版本cgroup v2推荐现代容器默认兼容 v1说明5.13 及以上内核才完整支持 burst 突发带宽字段想要实操 burst 功能优先选用 6.1 内核。2.2 内核源码下载与编译配置1、安装编译依赖sudo apt update sudo apt install build-essential libncurses-dev bison flex libssl-dev libelf-dev git2、拉取 6.1 内核源码wget https://cdn.kernel.org/pub/linux/kernel/v6.x/linux-6.1.tar.xz tar -xvf linux-6.1.tar.xz cd linux-6.13、开启必要内核配置项cp /boot/config-$(uname -r) .config make menuconfig开启以下编译选项必须勾选否则无 cgroup 带宽与调试能力CONFIG_CGROUP_SCHEDy # 开启CFS组调度 CONFIG_CGROUP_CPUACCTy # CPU资源统计 CONFIG_CFS_BANDWIDTHy # 核心启用CFS带宽控制器 CONFIG_FTRACEy # 函数跟踪调试 CONFIG_SCHED_DEBUGy # 调度调试开关 CONFIG_DEBUG_FSy # 调试文件系统 CONFIG_CGROUP_BPFn # 按需关闭不影响本次实验4、编译安装内核make -j$(nproc) sudo make modules_install sudo make install sudo update-grub重启服务器在 grub 菜单选择新编译内核启动。2.3 源码文件路径kernel/sched/fair.c // cfs_bandwidth结构体定义、全部操作函数实现 kernel/sched/sched.h // task_group结构体定义三、应用场景约 300 字cfs_bandwidth 驱动的 CFS 带宽限流是容器资源隔离的底层基石在云服务器、边缘工控、音视频集群三大场景落地广泛。K8s 集群中 Deployment 配置resources.limits.cpukubelet 最终转化为 cgroup cpu 配额写入内核参数落地存储在 cfs_bandwidth依靠结构体周期与配额字段限制容器 Pod 最大 CPU 占用避免单个业务进程突刺耗尽整机算力。工业嵌入式 Linux 设备多业务分区部署时设备采集、数据上报、人机交互三类进程分属不同 cgroup通过配置 cfs_bandwidth 的 quota 隔离 CPU防止采集任务满载抢占交互进程导致界面卡顿。流媒体转码服务器场景借助 cfs_bandwidth 的 burst 突发字段配置短时带宽扩容应对瞬间并发转码峰值既长期限制平均 CPU 上限又避免瞬时流量触发频繁节流任务休眠。四、实际案例与步骤、源码 实操代码4.1 cfs_bandwidth 完整结构体源码逐字段注释截取sched.h中结构体定义6.1 内核原版代码附工程化注释struct cfs_bandwidth { #ifdef CONFIG_CFS_BANDWIDTH /* 1. 基础配额配置用户从cgroup文件写入的原始参数 */ u64 quota; /* 用户配置单周期总配额(us)-1代表无限制 */ u64 period; /* 用户配置统计周期(us)默认100000us100ms */ u64 burst; /* 突发带宽配额空闲积攒富余CPU时间上限(us) */ /* 2. 运行时动态统计字段内核实时计算剩余可用时间 */ u64 runtime; /* 当前周期剩余可用CPU时间消耗则递减 */ u64 prev_runtime; /* 上一轮周期剩余runtime用于burst积攒计算 */ ktime_t period_start; /* 当前周期起始内核时间戳 */ /* 3. 定时器相关周期刷新、节流解挂依靠定时器 */ struct hrtimer period_timer; /* 高精度周期定时器周期到触发配额刷新 */ ktime_t next_period; /* 下一个周期到期时间点 */ /* 4. 节流队列被限流无法运行的调度实体挂载链表 */ struct list_head throttled_cfs_rq; /* 本分组下所有被节流的cfs运行队列链表 */ int throttled; /* 当前被节流的cfs_rq计数0代表分组处于限流状态 */ /* 5. 自旋锁多CPU并发修改结构体成员的保护锁 */ raw_spinlock_t lock; #endif };代码说明quota/period/burst 是静态配置字段用户态修改 cgroup 文件触发内核写函数赋值runtime/throttled/throttled_cfs_rq 是动态运行字段进程调度运行、CPU 耗时变化实时变更period_timer 是高精度定时器是周期重置、解除节流的触发源。4.2 内核关键操作函数源码fair.c4.2.1 cfs_bandwidth_period_reset周期到期重置配额周期定时器到期触发刷新 runtime、释放被节流任务核心逻辑static void cfs_bandwidth_period_reset(struct cfs_bandwidth *cfs_b, struct task_group *tg) { raw_spin_lock(cfs_b-lock); /* 周期重置重新填充可用配额叠加burst积攒余量 */ cfs_b-runtime cfs_b-quota; if (cfs_b-burst cfs_b-quota cfs_b-prev_runtime 0) { cfs_b-runtime cfs_b-prev_runtime; /* 不能超过burst上限 */ if (cfs_b-runtime cfs_b-burst) cfs_b-runtime cfs_b-burst; } cfs_b-prev_runtime 0; /* 解除全部被节流的运行队列 */ if (cfs_b-throttled 0) { unthrottle_cfs_rq_list(cfs_b, tg); } /* 更新周期起始时间戳 */ cfs_b-period_start ktime_get(); raw_spin_unlock(cfs_b-lock); }功能每次 period 周期走完刷新剩余可用 CPU 时间若有积攒的 burst 余量追加 runtime唤醒之前因超配额被阻塞的进程。4.2.2 __refill_cfs_bandwidth_runtime进程消耗 CPU 扣减 runtime分组内进程运行消耗 CPU 时内核实时扣减 cfs_b-runtime耗尽触发节流static int __refill_cfs_bandwidth_runtime(struct cfs_rq *cfs_rq, u64 delta_exec) { struct task_group *tg cfs_rq-tg; struct cfs_bandwidth *cfs_b tg-cfs_b; raw_spin_lock(cfs_b-lock); /* 无配额限制直接返回不做限流 */ if (cfs_b-quota RUNTIME_INF) { raw_spin_unlock(cfs_b-lock); return 0; } /* 消耗CPU时间剩余配额递减 */ if (cfs_b-runtime delta_exec) { cfs_b-runtime - delta_exec; raw_spin_unlock(cfs_b-lock); return 0; } /* runtime耗尽触发节流当前cfs_rq加入阻塞链表 */ throttle_cfs_rq(cfs_rq, cfs_b); raw_spin_unlock(cfs_b-lock); return 1; }逻辑剩余 runtime 不够本次进程 CPU 消耗执行 throttle_cfs_rq将当前分组运行队列加入 throttled_cfs_rq 链表分组内任务暂停调度。4.3 用户态实操cgroup v2 配置 CPU 带宽修改 cfs_bandwidth 参数步骤 1挂载 cgroup2 文件系统# 创建挂载目录 sudo mkdir -p /sys/fs/cgroup2 # 挂载cgroup v2 sudo mount -t cgroup2 none /sys/fs/cgroup2 # 创建测试分组test_cfs_bw sudo mkdir /sys/fs/cgroup2/test_cfs_bw步骤 2配置带宽配额等效修改内核 cfs_bandwidth-quota/period# period100000us(默认100ms)quota20000us(20%CPU上限) echo 20000 100000 | sudo tee /sys/fs/cgroup2/test_cfs_bw/cpu.max # 配置burst突发上限50000us echo 50000 | sudo tee /sys/fs/cgroup2/test_cfs_bw/cpu.burstcpu.max 格式quota period写入后内核自动赋值到对应 task_group.cfs_bandwidth 的 quota、period 成员。步骤 3编写 CPU 压测程序消耗 CPU 触发 CFS 节流// cfs_stress.c 死循环消耗CPU用于触发带宽限流 #include stdio.h int main(void) { unsigned long cnt 0; while(1){ cnt; } return 0; }编译运行gcc cfs_stress.c -o cfs_stress # 后台启动压测进程 ./cfs_stress # 获取进程PID PID$! # 将进程加入cgroup分组 echo $PID | sudo tee /sys/fs/cgroup2/test_cfs_bw/cgroup.procs步骤 4ftrace 跟踪 cfs_bandwidth 相关内核函数观测节流触发# 挂载debugfs sudo mount -t debugfs none /sys/kernel/debug # 清空跟踪缓存 sudo echo /sys/kernel/debug/tracing/trace # 设置需要跟踪的带宽关键函数 sudo echo throttle_cfs_rq /sys/kernel/debug/tracing/set_ftrace_filter sudo echo unthrottle_cfs_rq_list /sys/kernel/debug/tracing/set_ftrace_filter sudo echo cfs_bandwidth_period_reset /sys/kernel/debug/tracing/set_ftrace_filter # 开启函数跟踪 sudo echo function /sys/kernel/debug/tracing/current_tracer sudo echo 1 /sys/kernel/debug/tracing/tracing_on # 等待30秒后关闭跟踪 sleep 30 sudo echo 0 /sys/kernel/debug/tracing/tracing_on # 查看跟踪日志能看到周期性throttle与unthrottle调用 cat /sys/kernel/debug/tracing/trace现象说明压测进程满载消耗 CPUruntime 快速耗尽触发throttle_cfs_rq每 100ms 周期定时器到期执行cfs_bandwidth_period_reset执行unthrottle_cfs_rq_list释放任务进程周期性启停CPU 稳定卡在 20% 左右。4.4 利用 crash 调试工具查看运行时 cfs_bandwidth 内存数据# 安装crash工具 sudo apt install crash # 获取内核符号 sudo apt install linux-image-6.1-dbg # 启动crash关联内核 sudo crash /usr/lib/debug/vmlinux-6.1 /dev/memcrash 交互终端执行# 查找test_cfs_bw对应的task_group结构体 search task_group # 查看cfs_bandwidth成员数值实时查看quota/runtime/throttled字段 struct cfs_bandwidth 0xxxxxxx可以直观看到运行中 runtime 持续下降、throttled 在 0/1 之间切换验证结构体动态变化逻辑。五、常见问题与解答Q1配置 cpu.max-1 100000 之后容器仍然被限流cfs_bandwidth 不生效答quota-1 在内核中定义为 RUNTIME_INF 无限配额若依旧限流优先核查1、内核 CONFIG_CFS_BANDWIDTH 配置是否开启2、父 cgroup 存在上层 CPU 限额子分组继承父带宽限制父 cfs_bandwidth 配额耗尽连带子分组节流3、系统存在 cpuset 绑定 CPU 数量少于业务进程数不是 CFS 带宽问题。通过 ftrace 跟踪throttle_cfs_rq判断节流来源分组。Q2配置 burst 突发带宽不生效cfs_b-burst 字段写入无效答burst 从 Linux5.13 版本正式并入主线低于该版本内核无此字段其次 burst 生效前提分组周期内空闲prev_runtime 积攒富余时间全程满载跑 CPU 无空闲时段无法积攒余量看不到突发扩容效果。调低 quota间歇启停压测程序即可复现 burst。Q3修改 cgroup cpu.max 参数后cfs_bandwidth-quota 没有实时更新答用户态写入 cpu.max 文件触发内核cpu_max_write函数内核加 cfs_b-lock 自旋锁后赋值若进程正在疯狂消耗 CPU 占用锁少量场景会延迟刷新可通过重新迁移进程出再入 cgroup强制触发参数重载。Q4perf 观测进程 CPU 使用率忽高忽低周期性抖动是 cfs_bandwidth 节流导致答大概率。配额过小runtime 快速耗尽进入 throttle 休眠周期到解节流瞬间 CPU 拉满形成锯齿曲线。解决方案适度调高 quota 或开启 burst 字段平滑瞬时峰值优化 cfs 带宽配置。六、实践建议与最佳实践容器生产配置规范K8s 配置 limits.cpu 时尽量避免极小配额小于 10ms/100ms 周期过小 quota 极易频繁触发 throttle业务周期性卡顿常规业务推荐 period 保持默认 100000usquota 按需配置峰值波动大的业务开启 burst。内核调试排障技巧排查 CPU 限额异常优先三步走①ftrace 跟踪 throttle_cfs_rq 确认是否触发 CFS 节流②crash 查看对应 task_group 的 cfs_bandwidth-runtime、throttled 字段实时值③逐层向上遍历父 cgroup排查上层分组带宽限制。嵌入式设备调优工控嵌入式产品固定硬件 CPU 核心使用 cpuset 绑定 cgroup 到指定核避免多核心调度导致 cfs_bandwidth 跨核统计错乱减少自旋锁竞争带来的微小调度开销。内核二次开发优化建议自研自定义带宽管控不要直接修改原生 cfs_bandwidth 结构体可基于现有字段扩展私有结构体挂载 task_group复用原生 period_timer 定时器与 throttle 队列逻辑规避原生调度锁与内核同步问题。线上故障应急方案业务因意外节流卡死时临时修改 cpu.max-1 解除配额限制快速恢复业务后续再优化配额与 burst 参数。七、总结与应用延伸全文围绕cfs_bandwidth结构体从字段定义、内核源码实现、用户态 cgroup 实操、调试排查完整梳理 CFS 带宽限流底层原理该结构体是 CFS 组调度 CPU 资源硬隔离的核心载体静态配置类字段quota/period/burst承接用户层 cgroup 配置动态统计字段runtime/throttled跟随进程调度实时变更定时器与链表字段实现周期刷新、任务节流排队整套闭环。从落地场景来看cfs_bandwidth 支撑了 Docker/K8s 容器资源限额、云主机租户资源隔离、嵌入式多业务分区资源管控三大主流方向从技术研究层面该结构体设计思路是操作系统资源限流经典实现可用于调度相关毕业论文撰写、内核资源隔离模块二次开发。
相关文章
标注软件WPF-LabelImg的使用教程
添加类别标签导出Yolo的标注
Linux内核启动参数“黑话”大全：从console到panic，这些cmdline参数到底怎么用？
Linux内核启动参数完全指南：从基础配置到高级调优1. 理解Linux内核启动参数的本质Linux内核启动参数（cmdline）是系统启动时传递给内核的一组关键指令，它们像一把瑞士军刀，能够在不重新编译内核的情况下调整系统行为。这…
用AI视觉语言模型UI-TARS-desktop：自然语言控制电脑的终极解决方案
用AI视觉语言模型UI-TARS-desktop：自然语言控制电脑的终极解决方案 【免费下载链接】UI-TARS-desktop The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra 项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TAR…
【系统学AI】论文导读 ②：GraphRAG 与 DPO——检索增强和对齐训练的两大突破
本文是「AI 学习计划」系列第 28 篇，模块 07 论文导读第 2 篇。 GraphRAG 重新定义了"怎么检索"，DPO 重新定义了"怎么对齐"。一个让模型找得到，一个让模型说得好。 论文 A：From Local to Global — GraphRAG&…
告别抢票焦虑！95%成功率的Python大麦网自动化抢票系统终极指南
告别抢票焦虑！95%成功率的Python大麦网自动化抢票系统终极指南 【免费下载链接】ticket-purchase 大麦自动抢票，支持人员、城市、日期场次、价格选择 项目地址: https://gitcode.com/GitHub_Trending/ti/ticket-purchase 还在为热门演唱会门票秒光…
网易新闻频道爬虫实战：从动态加载到数据持久化的完整指南。爬取网易新闻指定频道的正文（标题、时间、来源、内容）o 技术点：处理动态加载（部分新闻是后端渲染）
在数据驱动的时代，新闻数据的获取与分析成为信息处理的重要环节。网易新闻作为国内主流新闻门户，其频道内容丰富、更新及时，是数据挖掘和舆情分析的良好数据源。本文将带领大家从零开始，构建一个完整的网易新闻频道爬虫系统，不仅能够应对网易新闻的页面结构特点，还能处理…
解读《Effective Python 3rd Edition》：从练气到老魔（第二章 Item 10 - 12）
Cloud_Shy 陪你解读《Effective Python 3rd Edition》：从练气到老魔大家好呀，欢迎来到博主新开的《Effective Python 3rd Edition》学习笔记系列，毕竟也读过几百篇 SCI ，这次来试试阅读原版学习是一种怎样的体验。小伙伴们感兴趣的…
澎湃新闻每日时评文章爬虫实战：从反爬机制到数据存储的完整指南
一、引言 在当今信息爆炸的时代，新闻时评文章蕴含着丰富的舆情分析价值和观点挖掘潜力。澎湃新闻作为国内领先的时政思想与新知平台，其“澎湃时评”栏目汇聚了大量专家学者和评论员对热点事件的深度剖析，是自然语言处理、舆情监测和观点挖掘研究的宝贵数据源。 然而，新闻…
深度实战：使用Python构建BBC中文网新闻爬虫，实现多语言站点数据采集与日志监控，爬取BBC中文网标题及摘要o 技术点：国际化站点、日志处理
前言 在当今信息爆炸的时代，新闻数据的采集与分析成为了数据科学、舆情监控、市场研究等领域的重要环节。BBC中文网作为国际知名的新闻媒体，其内容涵盖了全球政治、经济、科技、文化等多个维度，对于研究国际舆论、跨文化传播以及多语言文本分析具有极高的价值。 然而，与常…
解决Unity打包EXE后Universal Media Player播放RTSP失败：从修改Player Settings到手动修复UMPPostBuilds.cs
Unity打包EXE后Universal Media Player播放RTSP失败的深度修复指南当你在Unity中使用Universal Media Player（UMP）插件成功实现了RTSP流的播放，却在打包EXE后遭遇"无画面"或"找不到库文件"的错误时，这种从开发…
ESP32工业物联网控制器：4-20mA压力变送器信号采集与处理实战
1. 项目概述与核心价值在工业现场，数据采集的稳定性和准确性是命脉。无论是监测管道压力、罐体液位还是电机转速，我们都需要将物理世界的信号，可靠地转换为控制系统能理解的“语言”。这其中，4-20mA电流环信号堪称工业模拟信号传输…
基于Arduino与超声波传感器的DIY无人机计时门设计与实现
1. 项目概述：为FPV竞速增添专业感的DIY计时门如果你和我一样，家里有个对FPV无人机着迷的孩子，或者你自己就是个竞速爱好者，那你肯定理解那种想给自家的小型无人机赛道增加点“专业感”的冲动。我们在地下室用纸箱、呼啦圈搭过各种…
Win10/Win11下Realtek 8188GU网卡驱动感叹号？别急着扔，试试这个手动安装的野路子
Realtek 8188GU网卡驱动故障深度修复指南：从原理到实战当设备管理器里那个顽固的黄色感叹号挥之不去，而你已经尝试了所有"标准操作"——Windows自动更新、第三方驱动工具、甚至重启大法——却依然无济于事时，是时候换个思路了。这篇…
AnolisOS 8.8安装源配置踩坑实录：从‘设置基础软件仓库时出错’到成功联网的保姆级指南
AnolisOS 8.8安装源配置实战指南：从诊断到解决方案的全流程解析当你在安装AnolisOS 8.8时遇到"设置基础软件仓库时出错"的提示，这通常意味着系统无法访问或识别安装源。这个问题看似简单，但背后可能涉及网络配置、镜像选择、启动参…
基于树莓派Pico的反应速度测试游戏：从GPIO编程到状态机实战
1. 项目概述与核心思路最近在整理工作室的电子元件，翻出来几个闲置的街机按钮和一块树莓派Pico，灵机一动，决定做个简单又有趣的反应速度测试游戏。这个项目非常适合想入门嵌入式开发的朋友，它不涉及复杂的传感器和通信协议&#x…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…