Day3：监控、日志、限流、成本管控、版本灰度

本节是线上运维核心面试高频考点全部是工业落地必备知识。一、监控1. 定义持续采集服务运行状态数据实时观察服务是否正常。2. 大模型服务核心监控指标必记硬件指标GPU 使用率、显存占用、CPU、内存业务指标接口响应耗时、请求量、报错率、并发数3. 作用提前发现卡顿、显存溢出、接口报错等问题做到故障预警。二、日志1. 定义把请求内容、模型返回结果、报错信息、操作记录持久化保存。2. 作用线上出问题后根据日志回溯原因、定位 bug统计用户提问、分析使用场景为后续模型迭代提供数据。三、限流1. 定义限制单位时间内的请求数量防止大量请求瞬间涌入压垮服务。2. 场景举例突发流量、恶意刷请求、活动高峰都会导致服务崩溃限流就是 “设置准入门槛”。3. 常见算法令牌桶入门了解即可系统按固定速率发放令牌请求必须拿到令牌才能被处理令牌耗尽新请求直接拒绝 / 排队。四、成本管控大模型算力是主要开销常用优化手段模型层面使用4bit/8bit 量化降低显存占用选用合适参数量模型如 7B算力层面云服务器按需计费闲置时关机不长期占用高配置机器调度层面请求低谷期缩减资源高峰期扩容资源弹性调度。五、版本管理 灰度发布版本管理对模型、代码、配置做版本标记每一次迭代都留存版本记录。一旦新版出问题可以快速版本回滚切回稳定旧版本。灰度发布结合前面讲解巩固分批放量上线新版本小流量验证 → 逐步扩量 → 全量上线。 核心价值控制上线风险避免故障影响全部用户。六、整体串联面试简答模板问如何保障大模型线上服务稳定运行 答搭配监控 日志实时观测状态、排查问题通过限流抵御突发高并发使用版本管理 灰度发布降低迭代风险配合量化、弹性算力做好成本管控。