本文概述了发表于springer出版的专著《advancements in knowledge distillation: towards new horizons of intelligent systems》第一章“基于响应、特征和关系的知识蒸馏类别”的核心内容。该章节系统总结了图像识别领域知识蒸馏的相关研究，涵盖离线、在线和自蒸馏三种主要机制，并深入探讨了多种扩展技术。
论文链接：https://www.php.cn/link/957fe82f1784483968a1af17af7dc0db
arXiv链接：https://www.php.cn/link/4918d9ac5352e49e376ab89695d64f98
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
1. 基于响应、特征和关系的知识蒸馏分类
离线知识蒸馏方法通常包含知识类型和蒸馏策略两个方面。知识类型指学生模型模仿的信息类型，而蒸馏策略则关注学生模型如何有效学习教师模型的知识。本章节重点研究了基于响应、基于特征和基于关系的三种知识类型，并对每种类型下的代表性方法进行了回顾和比较。下图展示了这三种知识蒸馏类型的整体示意图。
1.1 基于响应的知识蒸馏
基于响应的知识蒸馏关注教师模型的最终输出，旨在使学生模型的预测与教师模型保持一致。其核心思想是利用软化softmax（软标签）来提取类概率分布，并使用距离函数（如KL散度或均方误差）来衡量教师和学生模型输出的差异。
本章节分别从解释基于响应的知识蒸馏、通过辅助结构减少教师-学生性能差距以及通过自适应蒸馏减少教师-学生性能差距三个方面对相关工作进行了深入分析，并通过表格对不同方法的实验结果进行了对比。
1.2 基于特征的知识蒸馏
基于特征的知识蒸馏利用教师模型的中间层特征信息进行监督，以提供更全面的指导。其损失函数通常衡量教师和学生模型中间特征图的相似性。本章节从知识探索、知识迁移以及视觉Transformer方面的蒸馏工作三个方面进行了阐述，并通过表格总结了不同方法的实验结果。
1.3 基于关系的知识蒸馏
基于关系的知识蒸馏关注数据集内样本间的关联或模型内不同层间的交互信息。本章节分别讨论了基于关系的跨样本知识蒸馏和基于关系的跨层知识蒸馏，并通过表格总结了不同方法的实验结果。
2. 蒸馏机制
本章节介绍了离线、在线和自知识蒸馏三种蒸馏机制，并通过示意图进行了说明。离线蒸馏先预训练教师模型，再训练学生模型模仿教师；在线蒸馏同时训练多个学生模型，并互相学习；自蒸馏则利用模型自身信息进行学习。 本章节还对不同蒸馏方法在性能和时间上的权衡进行了比较分析。
3. 蒸馏算法
本章节深入探讨了多教师蒸馏、跨模态蒸馏、基于注意力的蒸馏、无需数据的蒸馏和对抗蒸馏五种扩展的知识蒸馏算法，并分别对每种算法的代表性方法、核心思想和未来挑战进行了详细的阐述。 每种算法都配有示意图，更直观地展现其工作原理。
4. 总结
本文对知识蒸馏领域的最新进展进行了全面的综述，并对未来研究方向进行了展望。与之前的综述相比，本文涵盖了更多近期的研究成果，并对自监督蒸馏和ViT蒸馏等新兴方向进行了重点介绍。
(参考文献略)
