搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2511 篇相关文章

大模型"温故而知新"实现了！无需历史数据，Octopus 效果超越全数据训练｜CVPR‘26 Octopus

上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。

近日，Hermes Agent 在国内爆火，获超 5.2 万 stars 且还在增长。它与 OpenClaw 不同，采用单 Agent 架构，有学习循环和分层记忆系统。背后公司 Nous Research 目标是打造抗衡 OpenAI 的开源模型，还引入区块链解决算力问题。

近日，Hermes Agent 在国内爆火，获超 3.9 万 stars。它是单 Agent 架构，核心是学习循环，记忆分层管理。其网关功能强大，状态可跨会话留存。背后的 Nous Research 目标是打造抗衡 OpenAI 的开源模型，还引入区块链解决算力问题。

大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。

Meta发布生成式广告模型GEM详细信息，旨在改善平台广告推荐能力。它处理海量用户 - 广告交互数据，用三种方法构建系统，还实施GPU级优化，采用两种知识迁移策略，获业内人士认可。

南洋理工大学与上海人工智能实验室团队提出PhysX - Anything，首个面向仿真、具物理属性的3D生成框架。它仅需单张图像就能生成可用于仿真的3D资产，在多项测试中表现优异，有望推动3D重建范式转变。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

伯克利团队提出新方法InFOM，不依赖奖励信号，能在多任务中超强迁移与推理。在36个基于状态和4个基于图像的任务测试中，InFOM表现出色，在jaco任务上改进达20倍。

3月27日，深度机智联合推出具身通用智能基座模型系统PhysBrain 1.0，引入人类第一视角数据，解决传统模型问题。其创始人陈凯等坚持用此数据构建模型，突破传统，引领行业新方向，且中国在具身智能领域或借此建立自主技术体系。

使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。