科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于对抗蒸馏的细粒度分类模型压缩系统,其特征在于,所述系统包括：生成器、固定教师模型、学生模型；所述生成器通过输入高斯噪声,在对抗蒸馏阶段中为教师模型和学生模型提供稳定的可供调节的生成样本；所述固定教师模型是经过预训练的模型；所述学生模型是模型压缩知识蒸馏的目标和客体,用于压缩后代替教师模型进行部署和推理。本发明还公开了利用上述模型压缩系统实现的基于对抗蒸馏的细粒度分类模型压缩方法。本发明适用于安全保护和模型压缩为目的的任务需求。对于细粒度分类任务,能够以最有效的方式提升模型的分类效果,同时该方法也适用于通用分类任务的模型压缩和隐私保护。
- 出版日期2022-1-25
- 单位华东师范大学
