以太网之 L2-LLR 介绍

1、LLR 如何工作存在的问题集合操作导致的丢包硬件和布线导致包破坏UE 链路层减少丢包的网络栈L2-LLR如何工作的细节2、LLR 基础定位Ultra Ethernet consortiumLLR Link Level Retry 链路层低时延重传是 UEC 核心无损可靠性机制工作在MAC 层之上、TCP/RoCE 等传输层之下逐跳hop-by-hop帧级重传替代 / 辅助 PFC 实现无损以太网专门适配 AI/HPC 超低时延、高可靠需求。核心优势丢包只在相邻两台设备之间重传不用端到端回退大幅压低尾延迟PFC 只解决拥塞丢包LLR 同时处理线路误码、瞬时故障、少量拥塞丢包。基础规则:所有 LLR 使能帧分配唯一递增序列号 Seq图中 1/2/3/4…发送端LLR Sender发出帧必须存入Replay Buffer 重放缓冲区直到收到接收端 ACK 确认才能删除缓存接收端LLR Receiver按 Seq 校验连续正常收帧回ACK检测到 Seq 缺口丢帧立刻回NACK否定确认双保护NACK 主动重传 发送端超时兜底重传防止 NACK 本身丢包3、逐帧拆解时序图完整流程阶段 1Sender 顺序发送 1~8 号帧Sender 依次发出帧 1、2、3、4、5、6、7、8每帧打上 Seq全部存入本地重放缓存Receiver 侧接收情况帧 1 正常到达 → 立刻回复ACK1绿色 ACK帧 2 丢失图中红色叉号出现 Seq 缺口收到 1 之后下一个收到 3检测到 2 缺失帧 3、4、5、6、7、8 陆续抵达 Receiver阶段 2Receiver 生成 NACK2丢包检测触发Receiver 发现 Seq2 缺失立即生成LLR_NACK2红色 NACK 报文发回 Sender这个 NACK 发出时刻 LLR Discard Window 丢弃窗口的起点图右侧注释定义NACK2 走反向链路传回 Sender耗时半个 RTT注意NACK 在路上传输这段时间里Sender 还在持续发新帧9、10同时 Replay Buffer 里还完整存着 1–8 所有未彻底确认的帧。阶段 3Sender 收到 NACK2启动选择性重传Sender 收到 NACK2立刻从重放缓存取出仅帧 2单独重发图里黄色线条就是重传帧 2、3、5、7…LLR 是Selective 重传不会回退重传全部只补发丢失帧这是低时延关键图里 Sender 侧标注[2,3,4,5,6,7,8]就是当前 Replay Window 重放窗口 右侧定义LLR Replay Window 起点 第一个未被 ACK 确认的帧这里就是帧 2终点 收到 ACK 之前最后一个发出的可 LLR 重传帧窗口内所有帧都必须留在缓存不能释放内存。阶段 4重传帧抵达 ReceiverDiscard Window 结束重传帧 2黄色到达 Receiver补齐 Seq 缺口 右侧定义LLR Discard Window 终点 收到携带预期 Seq 号的第一个重传帧也就是收到重传帧 2 这一刻Discard Window 关闭Receiver 后续收到重传帧、新帧后批量回复 ACK3、ACK5、ACK7、ACK9、ACK10ACKX 含义Seq≤X 的所有帧全部正确接收Sender 可以安全删除 Replay Buffer 里≤X 的缓存帧比如收到 ACK3 → 帧 2、3 都确认缓存里 2、3 可释放Replay Window 起点滑动到 4阶段 5窗口滑动、缓存回收、持续传输每收到一个 ACKSender 的 Replay Window 左边界向右滑动释放已确认帧的缓存帧 9、10 持续新发不断追加到 Replay Window 右端全程新业务流量和重传流量并行发送不会阻断发送管道。4、两个核心窗口深度理解对应图右侧注释1. LLR Replay Window重放窗口发送端视角起始第一个还没收到 ACK 确认的帧本例帧 2结束Sender 收到 ACK 报文那一刻已经发出去的最后一个 LLR 可用帧本质窗口内所有帧必须保存在 Sender 缓存随时待命重传窗口大小≈链路 BDP带宽 ×RTT和你之前问的 PFC 缓存逻辑同源信号往返 RTT 时间内发送出去的数据都要缓存兜底。2. LLR Discard Window丢弃窗口接收端视角起始Receiver 生成 NACK 报文的瞬间发现丢包立刻计时结束Receiver 成功收到对应缺失序号的第一个重传帧作用窗口内 Receiver 不会向上层上报乱序 / 缺口耐心等待重传帧补齐窗口结束后 Seq 恢复连续正常向上交付数据。5、对比 PFC理清 LLR 和 PFC 分工机制解决问题工作方式时延影响PFC下游缓存满导致的拥塞丢包Rx 发 PAUSE 让 Tx 整体停发整条优先级队列停发会阻塞业务流队列累积放大延迟LLR线路误码、瞬时故障、少量拥塞丢包丢哪帧只重传哪帧发送管道不中断几乎不阻断新发流量只有少量重传开销UEC 推荐组合PFC 做大拥塞防护LLR 做微小丢包快速修复极端场景可纯 LLR 弱化 PFC 依赖减少 PFC 死锁风险。一句话极简总结时序发帧→存缓存→收方校验 Seq缺 Seq 立刻回 NACK发方收到 NACK 只补发丢的那一帧收方补齐 Seq 后回 ACK发方释放已确认缓存、滑动重放窗口Replay Window 管发送端缓存留存Discard Window 管接收端等待重传的时间区间。6、LLR CtlOS6.1 LLR 整体总览UEC Link Level Retry 链路级重传核心运行规则序列号 Seq 机制所有 LLR 业务帧分配全局递增 Seq 号收发两端严格按 Seq 有序校验。发送端Sender发出的 LLR 帧存入Replay Window 重放缓存收到 ACK 前绝不删除双保护重传触发① 收到LLR_NACK立刻选择性重传缺失 Seq快速主保护② 帧超时未收到任何反馈定时器兜底重传后备保护防止 NACK/ACK 自身丢失卡死链路接收端Receiver顺序收帧 → 回复LLR_ACK累积确认ACK (X) Seq 1~X 全部完好接收检测 Seq 空洞丢包→ 立刻发送LLR_NACK(丢失Seq)开启Discard Window 丢弃等待窗口暂不上报乱序给上层等待重传补齐选择性重传无论 NACK / 超时只补发丢失序号不回退整个发送窗口吞吐几乎无损耗。窗口体系Replay Window发送侧起点 首个未 ACK 帧终点 ACK 到来前最后一个发送的 LLR 帧窗口大小匹配链路 BDP带宽 ×RTT。Discard Window接收侧起点 生成 NACK 时刻终点 收到对应重传 Seq 帧。3. 链路初始化流程上电 / 链路 UP 时依靠LLR_INITLLR_INIT_ECHO协商初始序列号同步两端 Seq 计数起点完成握手后链路才允许传输业务 LLR 帧。6.2 LLR CtIOS 详解Control Ordered Sets 控制有序集CtIOS 是 UEC 里承载 LLR 控制信令的标准 64/66B 块编码格式4 种专用 LLR 控制有序集用来在链路上双向传递握手、确认、丢包通知指令。1. 四类 CtIOS 功能定义CtIOS 类型发送方核心作用携带关键字段LLR_ACKLLR 接收端 Rx累积确认告知发送端≤ack_nack_seq 的所有帧全部接收正常发送端可释放对应 Replay 缓存ack_nack_seq完整 22bit 拆分高 19bit 低 3bitLLR_NACKLLR 接收端 Rx否定确认通知发送端ack_nack_seq 这个序号帧丢失请求立刻重传该 Seqack_nack_seq同 ACK 位域拆分格式LLR_INIT任意一端发起方链路初始化握手下发本端期望的初始序列号 init_seq同步链路 Seq 基线init_seq (22bit 拆分)、init_data 配置参数LLR_INIT_ECHO对端应答方回应 INIT 握手告知发起方已接收并解析 INIT本端就绪可以收发 LLR 业务帧回带协商后的 init_seq、init_data2. 统一 64/66B CtIOS 块帧格式表格拆解所有 LLR CtIOS 共用一套块封装结构Sync、固定标记、块类型完全统一Sync 同步位bit0/1固定10标识这是 64/66B 控制块D0 块类型字段固定0x4B区分 LLR 类控制集D1 子类型码区分 4 种 CtIOSLLR_ACK 0x01LLR_NACK 0x02LLR_INIT 0x03LLR_INIT_ECHO 0x04核心序号分段存储D2 D4 [7:4]22bit 序列号被拆成两段存放D2高 19bitack_nack_seq19:4/init_seq19:4D4 高 4 位低 3bitack_nack_seq3:0/init_seq3:0固定填充位 D30x6D5/D6/D7 默认填 0INIT/INIT_ECHO 额外在 D5 携带init_data15:0初始化配置参数ACK/NACK 无 init_dataD5/D6/D7 全部置 0 填充对齐块大小3. CtIOS 传输关键特性有序传输保障Ordered Sets 保证控制信令和业务帧的时序对齐不会出现控制帧超前 / 滞后业务帧导致的 Seq 错乱双向承载ACK/NACK 由 Rx 发给 Tx反向反馈通道INIT/INIT_ECHO 双向均可发起握手轻量开销CtIOS 是标准 64/66B 块封装相比独立以太网控制帧封装开销极小适配 200G/400G/800G 超高带宽低时延场景兼容性隔离D00x4B 作为 LLR 专属标识和 UEC 其他 CtIOS如 PFC、故障告警控制集互不冲突。6.3 LLR CtIOS 完整联动流程极简串联链路初始化阶段设备 A 发LLR_INITCtIOS → 设备 B 收到后回复LLR_INIT_ECHOCtIOS → 两端对齐 init_seq链路就绪。正常传输无丢包A 连续发业务 LLR 帧Seq1/2/3…→ B 逐帧接收间隔回复LLR_ACK(X)CtIOS → A 收到 ACK 滑动 Replay 窗口、释放缓存。发生单帧丢包如 Seq2 丢失B 检测 Seq 空洞 → 立即发送LLR_NACK(2)CtIOSA 收到 NACK CtIOS → 从重放缓存取出 Seq2 选择性重传重传 Seq2 抵达 B 补齐空洞 → B 回复新的LLR_ACK(3)CtIOS 确认。极端场景NACK CtIOS 自身丢失B 发的 NACK 半路丢包A 侧 Seq2 计时器超时 → A 主动重传 Seq2重传帧到 B 后依然能补齐 Seq后续正常 ACK CtIOS 收尾兜底。最终一句话浓缩LLRUEC 逐跳低时延选择性重传无损机制靠 Replay/Discard 双窗口 NACK / 超时双保护实现链路可靠LLR CtIOS承载 LLR 握手、ACK、NACK 四种控制信令的标准化 64/66B 有序控制块是 LLR 收发两端交互指令的唯一载体。7、LLR 协议层架构位置层级插入位置LLRLink Layer Retry部署在LLC/MAC Client上层和MAC Control 子层下层之间属于链路层Link内部可选子模块。完整协议栈从上到下高层业务层 → LLC/MAC 客户端 →LLR可选→ MAC Control可选→ MAC 介质访问控制 → Physical 物理层定位意义完全嵌套在标准以太网 MAC 体系内不改动底层 MAC/PHY 基础框架可按需开启 / 关闭 LLR 能力兼容传统以太网流量。8、LLR 序列号Sequence Number核心规则按帧粒度区分流量MAC 下发的以太网帧被分成两类LLR-eligible启用 LLR 重传保护需要链路可靠重传的业务帧如 RoCE、HPC、AI 算力流量LLR-ineligible不启用 LLR普通标准以太网流量不走 LLR 重传逻辑20bit 序列号分配规则仅LLR-eligible 帧由 LLR 发送端分配一个20bit 唯一递增序列号该 Seq 号直接嵌入在帧前导码Preamble的字节 1~3 中非 LLR 帧无此 Seq 字段使用传统标准前导。9、两种帧的前导码Preamble字节格式对比标准以太网前导共 8 字节Byte0~Byte7末尾 0xD5 为 SFD 帧起始定界符1. LLR-ineligible 普通帧标准以太网前导Byte0 ~ Byte6全部固定 0x55二进制1010 1010Byte7固定 SFD 0xD51010 1011无任何序列号嵌入完全兼容传统以太网。2. LLR-eligible 受保护帧改造型前导Byte0依然标准 0x551010 1010Byte1高 4bit 固定标识11100x7 前缀用来标记这是 LLR 帧低 4bit 为 20bit Seq 的最高 4 位Byte2 Byte3承载 20bit 序列号剩余 16 位→ Byte1 低 4 Byte2 (8bit) Byte3 (8bit) 完整 20bit LLR 序列号Byte4 ~ Byte6恢复标准 0x55Byte7标准 SFD 0xD5 不变10、关键特性小结LLR 是可选子层不强制部署兼容传统以太流量靠前导码改造实现 Seq 号承载无需修改以太网帧载荷头部开销极低流量隔离可混合传输受 LLR 保护的高可靠业务 无保护普通以太业务20bit 序号空间足够大长链路、高速率场景下极少出现序号回绕问题。