「策略内自蒸馏」共找到 1361 篇相关文章
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
AI一眼认出95万物种，还能分辨雄雌老幼，2亿生物图像炼成“生命视觉”大模型
俄亥俄州立大学团队用2亿生物图像训练BioCLIP 2模型，取得最优物种识别性能。它在无相应监督信号的非物种任务中，准确率远超DINOv2，还涌现出物种间生态对齐、物种内差异分离等生物学理解。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
南洋理工 | 推出开源版MetaQuery：OpenUni，1.1B参数媲美BLIP3-o-8B
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。
深度对话 Benchmark 合伙人：AI 打破了 SaaS 的 3322 规则改变创造本质
Benchmark 合伙人 Eric Vishria 与 Banana Capital 合伙人 Turner Novak 对话，分享 AI 时代创业看法、投资策略等。他认为 AI 打破 SaaS 增长法则，关注创始人叙事、学习能力，坚持投资非凡公司，还谈了对上市、估值等的观点。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
错过它＝落伍！只用一张照片+14秒，腾讯开源 HunyuanVideo-Avatar 带你玩转多角色数字人
HunyuanVideo-Avatar 是腾讯混元团队最新开放的多模态数字人生成模型。上传一张人物图片，再配上一段音频，模型即可在约 14 秒内输出分辨率最高 720p、情绪可控、动作丰富且支持多角色同屏的短视频。
Veo 3逼真脱口秀爆火全网，网友：彻底超越恐怖谷！Sora已被完爆
Veo 3生成的脱口秀视频全网爆火，人物、场景真实，声音和嘴型能对上，已超越恐怖谷。它或让人类进入‘模糊时代’，还会颠覆游戏、电影、广告等行业，未来AI生成内容或远超非AI内容。
AI接管程序员！Anthropic创始人自曝行业末日时间表
Anthropic创始人Dario Amodei预测，AI三到六个月内或能编写90%代码，一年后可能编写所有代码。谷歌超25%代码已由AI生成。不过人类短期内仍在代码设计等方面重要，程序员要适应与AI协作。