TSPR-WEB-LLM-HIC 生产级架构升级方案

TSPR-WEB-LLM-HIC 生产级架构升级方案技术支持拓世网络技术开发工作室1. 权重动态化支持按领域配置 离线搜索2. 反馈闭环具象化不直接改概率而是引入反馈偏置3. 多轮对话状态管理增加会话一致性控制4. 成本主动控制预算熔断5. 补齐验收标准与风险表---TSPR-WEB-LLM-HIC 生产级架构升级方案 v2.1一、总架构定位项目 说明名称 TSPR-WEB-LLM-HIC v2.0定位 可控式 LLM 决策引擎 知识增强推荐系统核心能力 概率链调度 人在闭环 成本治理 可解释推理适用场景 智能推荐、智能导购、企业问答、垂类助手、ToB SaaS---二、核心数据结构已扩展2.1 Query 增强pythonclass Query:query_id: strsession_id: struser_id: strtext: strhistory: list[dict] # 对话历史timestamp: intsource: str # WEB/APP/APIintent: Intentmulti_intent: list[Intent]semantic_vector: list[float]prob_chain: ProbabilityChaincontext: dict # 上下文槽位need_llm: boolneed_human: boolstatus: str # INIT / PROCESS / DONE / HUMAN2.2 Intent 结构pythonIntent {intent_id: str,role: str,scenario: str,domain: str, # ecommerce / education / medicalneed: str,constraint: dict,entities: list[Entity],confidence: float,is_multi: bool}2.3 ProbabilityChain增强版pythonProbabilityChain {S1: 0.82, S2: 0.75, S3: 0.68, S4: 0.72, S5: 0.66,weights: {...}, # 按 domain 动态加载final: 0.71,calc_method: weighted_sum_norm,version: v1,feedback_bias: 0.0 # 新增历史反馈偏置}---三、核心算法已修正3.1 概率融合公式pythondef compute_probability_chain(query: Query) - ProbabilityChain:P1 intent_model(query.text)P2 semantic_match(query.intent, content_pool)P3 kg_score(query.intent)P4 content_score(content_pool)P5 ranking_score(query, content_pool)# 按领域加载权重可配置w load_weights_by_domain(query.domain)final_raw w[S1]*P1 w[S2]*P2 w[S3]*P3 w[S4]*P4 w[S5]*P5final_prob min(max(final_raw, 0.0), 1.0)return {S1:P1, S2:P2, S3:P3, S4:P4, S5:P5,weights:w, final:final_prob,calc_method:weighted_sum_norm, feedback_bias:0.0}3.2 动态决策阈值pythonTHRESHOLD_CONFIG {default: {high:0.7, mid:0.4},ecommerce: {high:0.65, mid:0.35},education: {high:0.75, mid:0.5}}def llm_decision(prob_chain, domaindefault):th THRESHOLD_CONFIG[domain]final prob_chain[final] prob_chain.get(feedback_bias, 0.0)if final th[high]:return NO_LLMelif final th[mid]:return CALL_LLMelse:return HUMAN_REQUIRED3.3 人工反馈闭环修正版不再直接修改概率链而是引入 反馈偏置支持时间衰减pythondef apply_human_feedback(query_id, intent, is_correct):# 存入反馈存储feedback_store.record(query_id, intent, is_correct)def get_feedback_bias(intent, window_days7):stats feedback_store.stats(intent, window_days)if stats.total 0:return 0.0# 正确率越高偏置越大正向bias (stats.correct - stats.incorrect) / stats.totalreturn min(max(bias * 0.1, -0.1), 0.1) # 限制范围3.4 多轮对话一致性控制pythondef apply_conversation_consistency(query, last_intent):if query.session_id and last_intent:if query.intent ! last_intent:# 意图跳变惩罚return 0.85return 1.0---四、微服务架构含降级4.1 服务拆分intent-servicesemantic-servicekg-servicecontent-engineranking-enginetspr-core # 新增降级/熔断/缓存llm-gateway # 增强路由/限流/成本/预算熔断hic-consoleorchestrator v2 # 并行调度 一致性控制monitor-serviceconfig-service # 动态阈值 权重配置4.2 熔断降级规则条件 动作kg-service 异常 P3 1.0标记 DEGRADE_KGvector 异常 P2 1.0标记 DEGRADE_VECTOR错误率 30% 全局降级为规则引擎 缓存月度成本 预算 80% 强制 NO_LLM---五、LLM Gateway生产级能力 说明多模型路由 OpenAI / Claude / Gemini / 本地模型容错 超时、重试、熔断、限流成本控制 Token统计、预算熔断、成本告警安全 敏感词过滤、结果缓存可观测 全链路日志追踪---六、API 设计6.1 推理接口httpPOST /tspr/v2/inferHeaders: Authorization, DomainBody: {query: ...,session_id: xxx,user_id: xxx}6.2 配置刷新httpPOST /admin/config/refresh6.3 状态查询httpGET /tspr/v2/status/{query_id}---七、Orchestrator 调度核心最终版pythondef orchestrator(query: Query):# 1 全局熔断检查if monitor.get_error_rate() 0.3:return degrade_direct_output(query)if llm_gateway.monthly_cost() budget * 0.8:return direct_output(query) # 强制不调LLM# 2 并行调用p1 intent_service.call_async(query.text)p2 semantic_service.call_async(query.text)p3 kg_service.call_async(query.intent)wait_all(p1, p2, p3)# 3 后续串行p4 content_engine.call(query)p5 ranking_engine.call(query)# 4 概率计算prob_chain compute_probability_chain(query)# 5 多轮一致性调整last_intent session_store.get_last_intent(query.session_id)consistency apply_conversation_consistency(query, last_intent)prob_chain[final] * consistency# 6 反馈偏置bias get_feedback_bias(query.intent)prob_chain[feedback_bias] bias# 7 决策decision llm_decision(prob_chain, query.domain)if decision NO_LLM:return direct_output(query)elif decision CALL_LLM:return llm_gateway.call(query)else:return hic_console.trigger(query)---八、监控指标全维度类别 指标概率层 S1~S5 分布、final_prob 分位线决策 LLM调用率、人工介入率、降级次数成本 月度成本、单次成本、预算告警质量 满意度、转化率、反馈偏置变化系统 错误率、延迟、熔断次数---九、验收标准KPI指标 目标值LLM 调用率 ≤ 30%人工介入率 ≤ 5%P99 延迟 ≤ 1.5s系统可用性 ≥ 99.9%月度 LLM 成本 ≤ 预算 80%主动熔断反馈偏置收敛 7 天内显著区分好坏意图---十、风险与对策表风险 概率 影响 对策权重不收敛 中 高 离线贝叶斯搜索 A/B实验恶意反馈攻击 低 中 反馈偏置限幅 ±0.1 用户信用分多轮对话状态爆炸 中 中 Session TTL 槽位过期策略成本超预算 中 高 预算熔断 日/周告警模型退化 中 高 离线评估 自动回滚---十一、MVP 路径能力升级版阶段 内容阶段1 规则 轻向量 基础调度阶段2 KG 概率链 动态阈值 反馈存储阶段3 HIC 可解释 A/B测试 多轮一致性阶段4 自学习离线微调 权重搜索 多租户 SaaS---十二、资源预估2人月角色 人力 周期后端开发 1人 1.5月算法工程师 0.5人 1月运维/监控 0.5人 0.5月