「自蒸馏微调」共找到 1410 篇相关文章
穷人福音！MIT研究：不用堆显卡，抄顶级模型作业就成
MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。
国产手机正从底层重构安卓！vivo版AI OS亮相了
在vivo开发者大会上，OriginOS 6正式亮相，AI功能全面更新，还首次上线Live Photo的AI消除。它用自研技术重构安卓底层核心，首发蓝河流畅引擎，从计算、显示、存储三大模块优化。
华人主导谷歌SLED，论文登顶会！一键让模型学会自救
大模型常「瞎编」，传统修复代价高。谷歌在NeurIPS 2024提出SLED方法，不依赖外部知识和额外微调，将各层预测纳入考量，减少模型幻觉。实验显示，SLED能显著提升模型准确率。
Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签
在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
Karpathy自称患上AI精神病！能力没有上限，一切都是Skill问题
Karpathy在播客中称自己患AI精神病，日常工作多依赖智能体。他认为智能体能力无上限，瓶颈在使用者技能。还探讨软件变革、自动化研究、模型分化等，对就业、开源等也给出看法。
EMNLP2025 | 解耦视觉与推理，港大探索视觉语言模型"眼智分离"新范式
当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。
6666！NuerIPS满分论文来了
NuerIPS唯一满分论文结论惊人，指出真正决定推理上限的是基座模型本身而非强化学习，且蒸馏比强化学习更有望实现大模型自我进化，这给正火热的RLVR泼了冷水。