真实分布 P 先以硬标签为例有一个样本 x比如一张猫狗图片它的真实标签是猫经过独热编码后猫 [1, 0, 0]狗 [0, 1, 0]鸟 [0, 0, 1]预测分布 Q—— 模型神经网络输出的 softmax[0.7, 0.2, 0.1]CE函数公式代入KL散度公式KL 0 → 两分布完全相同KL 0 → 预测分布偏离真实分布KL 衡量用 Q 代替 P 会损失多少信息如果教师模型不采用硬标签采用软标签比如[0.8,0.1,0.1]
软标签蒸馏中KL散度和CE的解释
发布时间：2026/6/26 6:10:32
真实分布 P 先以硬标签为例有一个样本 x比如一张猫狗图片它的真实标签是猫经过独热编码后猫 [1, 0, 0]狗 [0, 1, 0]鸟 [0, 0, 1]预测分布 Q—— 模型神经网络输出的 softmax[0.7, 0.2, 0.1]CE函数公式代入KL散度公式KL 0 → 两分布完全相同KL 0 → 预测分布偏离真实分布KL 衡量用 Q 代替 P 会损失多少信息如果教师模型不采用硬标签采用软标签比如[0.8,0.1,0.1]
相关文章
超声波避障传感器赋能 AGV 侧向安全防撞与智能仓储防护
现代物流产业规模持续扩张，仓储转运、货物分拣等环节作业量大幅增长，传统人工搬运模式逐渐显现短板。人工操作不仅效率有限、数据管控易出现偏差，还难以快速应对货物积压、库存短缺等突发状况，制约了物流体系整体运转效率。在此背…
正定函数视角：C*-单群如何约束冯·诺依曼代数结构
1. 项目概述：当算子代数遇上群论最近在整理一些算子代数与群论交叉领域的老笔记，翻到一个挺有意思的话题，就是如何从“正定函数”这个工具切入，去理解冯诺依曼代数在特定群作用下的结构限制性，以及它与“C*-单群”这个…
基于51单片机智能电表插座交流电压流Proteus仿真资料设计24-392-1(设计源文件+万字报告+讲解)（支持资料、图片参考_相关定制）_可以扫码
基于51单片机智能电表插座交流电压流Proteus仿真资料设计24-392-1(设计源文件万字报告讲解)（支持资料、图片参考_相关定制）_可以扫码 24-392、51单片机智能电表插座交流电压流检测阈值报警-Proteus仿真设计 产品功能描述： 本系统由STC89C52单…
ArcObjects SDK 10.8架构解析：构建企业级地理信息系统的技术深度指南
ArcObjects SDK 10.8架构解析：构建企业级地理信息系统的技术深度指南 【免费下载链接】arcobjects-sdk-community-samples This repo contains the source code samples (.Net c#, .Net vb, and C) that demonstrate the usage of the ArcObject SDK. 项目地址: …
关注山地建房难点？重庆大墅聚建筑工艺技术分析
理性看待“排名”，聚焦山地别墅建造的专业适配度在网络检索“重庆涪陵别墅建造公司排名前十”时，需保持审慎态度。目前并无官方权威机构发布此类绝对榜单，各类排名多基于网络热度或营销数据，参考价值有限。选择服务商应核心考察其…
IntelliJ IDEA中文版安装全攻略：从JDK配置到汉化补丁，3步完成企业级开发环境部署
更多请点击： https://codechina.net 第一章：IntelliJ IDEA中文版安装全攻略概述 IntelliJ IDEA 是 JetBrains 推出的旗舰级 Java 集成开发环境，凭借其智能代码补全、深度框架支持与高度可定制性，已成为企业级开发的首选工具。官方…
纯RGB视觉基于神经网络的点云重建SLAM3R（对白墙等弱纹理环境友好）
👑主页：吾名招财 👓简介：工科学硕，研究方向机器视觉，爱好较广泛… 💫签名：面朝大海，春暖花开！ 纯RGB视觉基于神经网络的点云重建SLAM3R（对白墙等…
Java程序员必看：从CRUD到RAG、Tool Calling、MCP、Agent，系统学习AI应用开发
本文探讨了AI应用开发对Java后端工程师的意义，指出AI应用开发不仅是调用大模型接口，更是后端开发能力的扩展。文章强调Java后端工程师在AI应用落地中的优势，并介绍了AI应用开发与传统后端开发的主要区别。此外，文章还提出了AI应用…
AI 辅助小说写作工具横评：从垂直小说专用到学术专项助手，哪一款真能让新手少走弯路？
随着人工智能持续渗透文创行业，AI 辅助写作已经成为网文作者、传统文学创作者、编剧、高校科研人群的日常生产力工具。市面上各类 AI 写作工具分化明显：一部分深耕长篇小说垂直赛道，一部分专攻学术论文细分领域，还有产品主打网文批…
Qwen2.5-Turbo百万上下文实战指南：百炼平台长文本处理全解析
1. 项目概述：这不是一次普通模型更新，而是一次上下文能力的质变跃迁“Qwen2.5-Turbo上线阿里云百炼平台，模型上下文长度扩展至百万tokens”——这句话里藏着三个关键信号：Turbo不是简单提速，而是面向生产环境的工程化重…
Kotlin的@JvmStatic与@JvmField：与Java互操作的注解
Kotlin作为一门现代编程语言，与Java的互操作性一直是其核心优势之一。为了让Kotlin代码能够无缝对接Java，Kotlin提供了多种注解来优化互操作体验，其中JvmStatic和JvmField是两个关键注解。它们分别用于解决静态成员和字段在Java中的访问问题&…
AI 驱动下 GEO 与 SEO 融合实战指南
摘要：本文深入探讨了从传统SEO到生成式搜索（GEO）的范式转移，为技术内容创作者揭示了新搜索生态下的挑战与机遇。面对大模型直接生成答案的趋势，单纯的关键词排名已不足以保证流量。文章系统性地提出了三大核心策略&…
Google AI Studio 300美元额度的真相与实战指南
1. 这300美金不是“送钱”，而是Google埋下的第一道技术门槛 你看到标题里那个醒目的“$300美金”时，第一反应可能是：又一个免费额度？领完就完事？我亲手试过——这300美金根本不是红包，而是一张入场券&…
PDF对比终极指南：用diff-pdf轻松识别文档差异的完整教程
PDF对比终极指南：用diff-pdf轻松识别文档差异的完整教程 【免费下载链接】diff-pdf A simple tool for visually comparing two PDF files 项目地址: https://gitcode.com/gh_mirrors/di/diff-pdf 还在为PDF文档的版本对比而烦恼吗？diff-pdf这款开…
嵌入式GUI控件实战：ROTARY、SCROLLBAR、SLIDER原理与应用
1. 嵌入式GUI控件：从原理到实战的深度解析在嵌入式系统开发中，图形用户界面（GUI）的设计与实现往往是项目从“能用”到“好用”的关键一跃。不同于资源充沛的PC或移动平台，嵌入式设备的GUI需要在有限的CPU性能、内存空间…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…