讲讲硬、软中断、DMA、网卡 网卡驱动

在现代计算机系统中网络通信的高效性直接决定了服务器的性能上限。而支撑起每秒数百万数据包收发的正是硬中断、软中断、DMA、网卡与网卡驱动这几个核心组件的精密协作。理解它们的工作原理和交互流程不仅是后端开发、系统运维的必备知识更是排查网络性能瓶颈、优化高并发系统的关键。一、中断机制CPU 与外设的 异步通信协议CPU 的运算速度远快于任何外设如果让 CPU 轮询等待外设完成任务会造成巨大的性能浪费。中断机制的出现彻底解决了这个问题 —— 它让外设可以在需要服务时主动通知 CPUCPU 则在处理完当前任务后响应外设请求。1.1 硬中断硬件发出的 紧急信号硬中断是由硬件设备直接产生的电信号通过中断控制器如 APIC发送给 CPU。工作原理每个硬件设备都被分配了唯一的中断号IRQ当设备完成一个操作如网卡收到数据包、磁盘读写完成时会通过中断控制器向 CPU 发送对应 IRQ 的电信号CPU 收到信号后会立即暂停当前正在执行的进程保存上下文跳转到内核中预先注册的中断处理函数ISRInterrupt Service Routine执行处理完成后恢复被中断进程的上下文继续执行关键特点异步性可以在任何时刻打断 CPU 的正常执行优先级不同中断有不同优先级高优先级中断可以打断低优先级中断快速性硬中断处理函数必须尽可能短小精悍因为执行时会屏蔽同级别或更低级别的中断1.2 软中断内核层面的 延迟处理机制硬中断处理函数要求快速执行但很多外设的后续处理工作其实比较耗时如网卡收到数据包后的协议栈解析。如果全部放在硬中断处理函数中完成会导致系统响应变慢甚至丢失中断。软中断就是为了解决这个问题而设计的 —— 它将中断处理分为两部分上半部硬中断只做最紧急、最必要的工作如告诉硬件 我收到中断了将数据从硬件缓冲区复制到内存然后触发一个软中断下半部软中断在合适的时机由内核线程执行耗时较长的后续处理工作常见的软中断类型NET_RX_SOFTIRQ网络数据包接收处理NET_TX_SOFTIRQ网络数据包发送处理BLOCK_SOFTIRQ块设备 IO 处理TIMER_SOFTIRQ定时器处理工作流程硬中断处理函数调用raise_softirq()函数设置对应软中断的标志位内核在以下几个时机检查并执行待处理的软中断硬中断处理函数返回后系统调用返回用户空间前内核线程ksoftirqd中当软中断负载过高时1.3 硬中断 vs 软中断 核心对比表格特性硬中断软中断触发源硬件设备内核代码执行时机立即执行打断当前进程延迟执行在特定检查点上下文中断上下文不能睡眠中断上下文不能睡眠可抢占性只能被更高优先级硬中断抢占不能被硬中断抢占但可以被其他 CPU 上的软中断并行执行执行时长必须极短可以相对较长二、DMA解放 CPU 的 数据搬运工在没有 DMA 的时代CPU 需要亲自参与每一个字节的数据传输。例如网卡收到一个 1500 字节的数据包CPU 需要执行 1500 次内存写入操作才能将数据从网卡缓冲区复制到系统内存。这在千兆甚至万兆网络时代是完全不可接受的。2.1 DMA 的基本原理DMADirect Memory Access直接内存访问是一种硬件机制它允许外设直接与系统内存进行数据传输而无需 CPU 的全程参与。核心组件DMA 控制器DMAC专门负责数据传输的硬件单元DMA 描述符存放在内存中的数据结构包含源地址、目的地址、传输长度等信息2.2 DMA 的工作流程以网卡接收数据为例初始化阶段网卡驱动在系统内存中分配一块连续的缓冲区称为 DMA 缓冲区驱动将 DMA 缓冲区的物理地址告诉网卡硬件网卡硬件将这个地址写入自己的 DMA 控制器数据传输阶段网卡从网络上收到一个完整的数据包网卡的 DMA 控制器自动将数据包从网卡内部缓冲区复制到系统内存的 DMA 缓冲区中复制完成后网卡向 CPU 发送一个硬中断通知 CPU数据已经准备好了后续处理阶段CPU 收到硬中断执行网卡驱动的中断处理函数驱动从 DMA 缓冲区中读取数据包交给内核协议栈处理驱动重新分配一个新的 DMA 缓冲区告诉网卡可以继续接收下一个数据包2.3 DMA 的巨大优势CPU 利用率大幅提升CPU 不需要参与数据传输过程可以专注于计算任务数据传输速度更快DMA 控制器是专门的硬件数据传输效率远高于 CPU支持并发操作多个 DMA 控制器可以同时工作实现多个外设的并行数据传输三、网卡计算机网络的 门户网卡Network Interface CardNIC是计算机与网络之间的物理接口负责将计算机内部的数字信号转换为网络上可以传输的电信号或光信号反之亦然。3.1 网卡的硬件结构现代高性能网卡通常包含以下核心组件PHY 芯片负责物理层信号的编码和解码MAC 控制器负责数据链路层的帧封装和解封装、CRC 校验、MAC 地址过滤等DMA 控制器负责与系统内存之间的数据传输发送 / 接收缓冲区网卡内部的高速缓存用于暂存待发送和已接收的数据包中断控制器负责向 CPU 发送中断信号3.2 网卡的工作模式半双工模式同一时间只能发送或接收数据全双工模式可以同时发送和接收数据现代网卡默认模式混杂模式Promiscuous Mode接收网络上所有经过的数据包而不仅仅是目标 MAC 地址是自己的数据包常用于抓包工具如 Wireshark多播模式接收指定多播组的数据包3.3 现代网卡的高级特性TSOTCP Segmentation Offload将 TCP 分段的工作从 CPU 卸载到网卡硬件GROGeneric Receive Offload将多个小的 TCP 段合并成一个大的段再交给内核处理减少协议栈处理开销RSSReceive Side Scaling将网络流量分散到多个 CPU 核心上处理充分利用多核 CPU 的性能SR-IOVSingle Root I/O Virtualization将一个物理网卡虚拟化成多个虚拟网卡供虚拟机直接使用四、网卡驱动连接硬件与内核的 桥梁网卡驱动是运行在内核态的特殊程序它向上为内核协议栈提供统一的接口向下直接控制网卡硬件的工作。没有网卡驱动再先进的网卡也只是一块无法工作的电路板。4.1 网卡驱动的核心职责硬件初始化检测网卡硬件是否存在分配必要的系统资源中断号、I/O 地址、DMA 缓冲区初始化网卡的各种寄存器注册中断处理函数数据包发送从内核协议栈接收待发送的数据包sk_buff 结构将数据包复制到 DMA 缓冲区或直接映射告诉网卡硬件可以发送数据发送完成后释放相关资源数据包接收收到网卡的硬中断后从 DMA 缓冲区读取已接收的数据包构建内核协议栈使用的 sk_buff 结构将 sk_buff 交给内核协议栈的网络层处理重新分配 DMA 缓冲区准备接收下一个数据包硬件控制设置网卡的 MAC 地址配置网卡的工作模式全双工 / 半双工、混杂模式等开启或关闭网卡的高级特性TSO、GRO、RSS 等统计网卡的收发数据量、错误数等信息4.2 驱动与中断、DMA 的协同工作网卡驱动是中断和 DMA 机制的主要使用者三者紧密配合才能实现高效的网络数据传输驱动初始化 DMA驱动在启动时分配 DMA 缓冲区并将缓冲区地址告诉网卡DMA 完成数据传输网卡收到数据后通过 DMA 自动复制到系统内存网卡触发硬中断DMA 传输完成后网卡向 CPU 发送硬中断驱动处理硬中断驱动的中断处理函数被调用它只做最基本的工作然后触发软中断软中断处理后续工作内核的NET_RX_SOFTIRQ软中断被执行驱动在软中断上下文中将数据包交给协议栈五、完整的网络数据包接收流程现在我们将所有组件串联起来看看一个数据包从网线到达最终被应用程序接收的完整过程物理层传输数据包通过网线或光纤到达网卡的 PHY 芯片数据链路层处理MAC 控制器检查数据包的 CRC 校验和目标 MAC 地址如果正确则将数据包存入网卡内部的接收缓冲区DMA 传输网卡的 DMA 控制器将数据包从内部缓冲区复制到系统内存中预先分配的 DMA 缓冲区触发硬中断DMA 传输完成后网卡向 CPU 发送一个硬中断硬中断处理CPU 暂停当前进程保存上下文执行网卡驱动注册的硬中断处理函数驱动告诉网卡 我知道了你可以继续接收下一个数据包驱动触发NET_RX_SOFTIRQ软中断硬中断处理函数返回CPU 恢复被中断的进程软中断处理内核在合适的时机检查到待处理的NET_RX_SOFTIRQ软中断执行软中断处理函数从 DMA 缓冲区中读取数据包构建内核的sk_buff数据结构填充各种协议头信息将sk_buff交给内核协议栈的网络层如 IP 层协议栈处理IP 层检查 IP 头进行路由选择如果是 TCP 数据包交给 TCP 层处理进行 TCP 段的重组、序号检查、ACK 确认等最终将数据放入对应套接字的接收缓冲区应用层接收应用程序调用recv()或read()系统调用内核将数据从套接字接收缓冲区复制到应用程序的用户空间缓冲区系统调用返回应用程序开始处理数据六、常见的网络性能瓶颈与优化方向理解了上述流程我们就能很容易地找到网络性能瓶颈的可能位置并采取针对性的优化措施中断风暴问题现象大量数据包导致 CPU 频繁被硬中断打断系统负载飙升优化开启网卡的中断合并Interrupt Coalescing功能让网卡在收到多个数据包后再发送一次中断单 CPU 软中断瓶颈现象某个 CPU 核心的软中断使用率达到 100%其他核心空闲优化开启网卡的 RSS 功能将网络流量分散到多个 CPU 核心上处理DMA 缓冲区不足现象网卡出现丢包但系统内存充足优化增大网卡驱动的 DMA 缓冲区大小协议栈处理开销大现象CPU 大部分时间消耗在内核协议栈处理上优化开启网卡的 TSO、GRO 等硬件卸载功能将部分协议栈工作交给网卡硬件完成用户态与内核态数据拷贝开销现象高并发场景下大量时间消耗在数据从内核态到用户态的拷贝上优化使用零拷贝技术如sendfile()、mmap()或采用 DPDK 等用户态网络框架七、总结硬中断、软中断、DMA、网卡和网卡驱动是现代计算机网络系统的基石。它们各自承担着不同的职责又通过精密的协作实现了高效的数据传输硬中断负责硬件与 CPU 之间的紧急通知软中断负责将耗时的处理工作延迟执行DMA负责解放 CPU实现硬件与内存之间的直接数据传输网卡负责物理层和数据链路层的信号转换与帧处理网卡驱动负责连接硬件与内核协调所有组件的工作深入理解这些概念不仅能帮助我们写出更高效的网络程序更能让我们在面对复杂的网络性能问题时能够快速定位瓶颈并找到解决方案。在高并发、大流量的互联网时代这些底层知识正是区分普通开发者和优秀架构师的关键所在。