「自蒸馏策略优化」共找到 2071 篇相关文章
深度对话 Benchmark 合伙人：AI 打破了 SaaS 的 3322 规则改变创造本质
Benchmark 合伙人 Eric Vishria 与 Banana Capital 合伙人 Turner Novak 对话，分享 AI 时代创业看法、投资策略等。他认为 AI 打破 SaaS 增长法则，关注创始人叙事、学习能力，坚持投资非凡公司，还谈了对上市、估值等的观点。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
不愁了！开源智能体Paper2Poster「一键生成」学术海报
2025年5月，滑铁卢大学等团队发布Paper2Poster系统，用大模型将论文自动生海报。它提出PosterAgent多智能体方法，分解析、规划、绘制优化三阶段，生成效果好且开源，不过也存在效率和创意不足问题。
Tool-Star：赋予大模型结合多工具推理的能力
文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。
AI仅凭“自信”学会推理，浙大校友复刻DeepSeek长思维链涌现，强化学习无需外部奖励信号
UC Berkeley团队提出新训练方法Intuitor，大模型无需接触真实答案，仅优化自身信心就能学会复杂推理。该方法无需外部奖励信号或标注数据，用模型自身置信程度作内在奖励信号，在多任务表现良好。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
机器人也有“Aha Moment”！Zetta ζ 闭环物理智能体在线学习
端到端策略模型在物理世界失灵，现有在线学习路径未走通。清华 AIR 与域变换联合推出 Zetta ζ，通过三个闭环实现闭环物理智能体在线学习，实验显示其任务成功率高，还让机器人出现‘Aha Moment’。
曝梁文锋不满内部会议泄露，DeepSeek或暂停新融资；卡帕西入职Anthropic仅两月疑离职；日媒拆解宇树G1后认输：短期内赶不上中国｜AI周报
这篇AI周报涵盖多则热点，如DeepSeek因会议纪要外泄或暂停融资；AI大神Karpathy入职Anthropic两月引离职传闻；美国指控K3蒸馏大模型，黄仁勋等支持开源AI；还有企业人事变动、模型发布及应用等消息。
Claude Opus 5被扒光了！1511行提示词底牌全摊开
Anthropic的Claude Opus 5上线当天，系统提示词被开发者Eversmile1传到GitHub。提示词含产品说明、法务合规手册、推销渠道内容。其记忆规则严格，版权引用限制多，商业推荐有不同策略。上线24小时能力被广泛测试。