「大模型蒸馏」共找到 9221 篇相关文章
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
EmbodiChain开源，用100%生成式数据自动训练具身智能模型
跨维智能开源EmbodiChain，它是通往GS - World的基石，重构具身智能学习范式。其以100%生成式仿真数据训练机器人，突破数据瓶颈，还对比了不同路线，测试显示其模型效果佳。
Claude Code被攻破「后门」，港科大&复旦研究曝出TIP漏洞
近期港科大与复旦研究指出，Claude Code命令行工具连接MCP服务器时，TIP可能被劫持致远程代码执行。研究用TEW框架测试验证漏洞，还给出真机案例，最后提出改进方向。
具身智能“高考”难疯了！人类100分，最强模型12.8
原推出RoboTwin系列基准的团队带来RoboDojo，这是统一的仿真+真实世界机器人操作评测基准。它设42个仿真任务、18个真实任务，让30个主流策略竞技，结果显示机器人距通用操作差距大。
自定义轨迹驱动AI视频生成，ATI无需训练适配多种生成模型
字节提出视频生成运动控制统一框架ATI，通过轻量级运动注入器将用户定义轨迹投影至预训练图像 - 视频生成模型潜在空间，实现协调控制。用户指定关键点及路径控制运动，无需重新训练，适配不同架构。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
世界模型开始做减法？LeCun团队和清华团队给出两种思路
近期，Yann LeCun团队的LeWorldModel用简洁JEPA实现从像素端到端训练世界模型，降复杂度且验证潜在空间物理刻画能力；清华团队的Fast - WAM探讨推理阶段显式生成未来必要性，给出高效替代路径。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
宇树科技开源UnifoLM-WMA-0机器人模型，离通用机器人又进一步
宇树科技开源UnifoLM-WMA-0模型，用神经物理网络让机器人理解力学规律。它支持两种模式，融合多模态信息，架构精妙。经测试性能强，已真机部署。开源降低门槛，有望推动行业发展。
世界模型再迎新突破，兔展智能UniWorld-View登顶WorldScore榜单
近年来，世界模型成视觉 AI 重要研究方向。兔展智能联合研发的 UniWorld - View 登顶 WorldScore 榜单，完成昇腾算力适配与开源。它聚焦让 AI 理解未拍摄世界，解决了诸多技术难题。