「自蒸馏微调」共找到 1410 篇相关文章
刚刚，北大&360里程碑式突破！32B安全分碾压千亿巨兽
2025年9月23日，北大 - 360联合实验室发布TinyR1 - 32B模型，仅用20k数据微调就实现安全性能突破，兼顾推理与通用能力。还推出TinyR1 - Safety - 8B，且系列模型已全面开源。
2026！开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026 年刚开始，大模型领域研究者达成默契，arXiv 论文高频出现 Self-Distillation。传统强教师依赖范式难适配模型持续进化，Self-Distillation 成破局点。MIT 等机构发布三项研究成果，均用信息差实现模型自驱动升级。
腾讯组织大调整，前 OpenAI 研究员姚顺雨担任首席 AI 科学家
腾讯进行组织架构大调整，成立AI Infra部等部门。前OpenAI研究员姚顺雨出任首席AI科学家，兼任多职。此次调整旨在整合模型、数据、算力，腾讯还大力招募人才，此前元宝借开源起量，凸显自研重要性。
AI 驱动的数据库心脏：如何让云原生「自我进化」
本文深度解析腾讯云自研云原生数据库 TDSQL - C，它融合 Serverless、AI 技术，解决传统数据库痛点。具备存算分离、智能伸缩、AI 预测等特性，能降本增效，还可全球部署，为企业数字化出海提供数据基座。
ICCV25 Highlight｜格灵深瞳RICE模型狂刷榜单，让AI「看懂」图片的每个细节
格灵深瞳公司灵感团队自研的视觉模型基座RICE（MVT v1.5）刷榜多项视觉任务，在ICCV25获Highlight荣誉。它延续MVT系列理念，提升图片内部视觉特征差异性，在多任务验证中表现优异。
烧掉724亿，纳德拉挥刀重组Copilot
砸724亿美金后，微软用大重组承认Copilot「走弯路」。此前Copilot用户体验割裂，用户向竞品流失。纳德拉开出药方，统一管理，老将退场。苏莱曼转战自研大模型，微软欲让Copilot成一体化系统。
中国第一批没有论文的工科博士毕业了
国内推出实践型博士学位，不看论文，只认硬核实践产出。自去年9月以来，至少11人获此学位，分布多领域。这一制度由《学位法》推动，且清华创新领军工程博士如周鸿祎也适用。
LLM规划能力飙升79%！Google：内在自我批评技术拿下多项SOTA
Google DeepMind研究《通过内在自我批评提升大语言模型的规划能力》，不借助外部验证器，让LLM反复“自评+重写”，使Blocksworld准确率从49.8%升至89.3%，还介绍了方法及跨模型验证情况。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。