「自蒸馏」共找到 1156 篇相关文章
AIGCode宿文：我就是要自训练大模型，直接做「L5」| AI产品十人谈
AIGCode宿文坚信Coding是培育大模型的最佳场景，公司自训练66B基础模型，发布锡月大模型，开启AutoCoder内测。宿文认为AI Coding能解决代码供给问题，目标是实现AGI，虽面临诸多质疑，但他坚持直接做L5。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。
千万级标注成本归零！CVPR 2025清华团队成果：相机的“自运动”就是最好的老师
以往空间音频模型受限于采集条件和标注成本，清华和密西根大学团队在CVPR 2025给出新路径，利用相机自运动作监督信号，让模型从互联网视频学三维空间音频感知，成果入选会议Highlight。
token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升
新加坡国立大学AI研究者Jinjie Ni团队预训练扩散语言模型（DLMs）与自回归（AR）模型，发现DLMs是超强数据学习者，数据潜力超AR 3倍，重训480次性能仍攀升，还剖析同期研究方法论缺陷。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
NICE59期 | Agent进入下一篇章！Alita：不靠人工预设，自己造MCP自我进化的AI
这篇论文提出让 Agent 主动创造解决 MCP 的工具实现自我进化，工具可网上检索或自主编写。Alita 做法更通用实效，还提出‘Agent 蒸馏’思想，其生成的 MCP 已用于‘manus’。
SIGGRAPH Asia 2025：摩尔线程赢图形顶会3DGS挑战赛大奖，自研LiteGS全面开源
12月17日，在SIGGRAPH Asia 2025上，摩尔线程凭自研LiteGS获3DGS重建挑战赛银奖。3DGS是下一代图形渲染技术，有巨大潜力但训练耗时久。摩尔线程开源LiteGS，实现全链路协同优化。
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。
1B 参数跑出 2B 性能？面壁 MiniCPM5-1B 用 AI 自进化，提速 AGI 进程
全球AI行业陷入资源消耗战，面壁智能绕开物理瓶颈，提出“AI制造AI”路径。2026年5月25日发布MiniCPM5-1B，有越级性能、极致压缩比和均衡能力，源于“模型、框架、数据”自进化范式。