「自蒸馏微调」共找到 1408 篇相关文章
首家央企AI独角兽浮出水面！背靠自研大模型，4家国家队资本背书
中电信人工智能科技（北京）有限公司成为央企首家AI独角兽，完成首轮增资，引入四家国家级战略投资方。其靠自研“星辰”系列大模型，在多领域突破，实现技术与市场认可闭环，有望推动AI产业落地。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
直击WAIC：萝卜快跑入选「国家队」，AI数字人技术升级，百度全栈自研杀疯了
在世界人工智能大会 WAIC 上，百度成果亮眼。萝卜快跑入选「国家队」，出海进展快，还与 Uber 合作；数字人技术升级，发布 NOVA。百度靠全栈自研技术体系支撑，目标是打造数百万个超级应用。
养虾时代终结？免部署、7×24小时在线、自进化的“赛博骡子”来了！
全球首个自进化个人AI——MuleRun（骡子快跑）正式发布，免部署、7×24小时在线、可自主进化。它适配个体需求、实现群体智慧共享，能完成多类任务，还保障安全、提供售后。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
AIGCode宿文：我就是要自训练大模型，直接做「L5」| AI产品十人谈
AIGCode宿文坚信Coding是培育大模型的最佳场景，公司自训练66B基础模型，发布锡月大模型，开启AutoCoder内测。宿文认为AI Coding能解决代码供给问题，目标是实现AGI，虽面临诸多质疑，但他坚持直接做L5。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。
千万级标注成本归零！CVPR 2025清华团队成果：相机的“自运动”就是最好的老师
以往空间音频模型受限于采集条件和标注成本，清华和密西根大学团队在CVPR 2025给出新路径，利用相机自运动作监督信号，让模型从互联网视频学三维空间音频感知，成果入选会议Highlight。