「自蒸馏」共找到 1154 篇相关文章
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
深度解析LLM Wiki / Obsidian-Wiki / GBrain：Agent时代知识的“自组织”与“自进化”
文章深度解析LLM Wiki、Obsidian - Wiki和GBrain项目，探讨Agent时代知识的“自组织”与“自进化”。指出传统知识管理有短板，而这些项目通过不同方式解决知识结构化、沉淀和更新问题，各有优劣。
Figma 自研了 Redis 代理，实现六个 9 可用性
Figma发布自研Redis代理服务FigCache详细实践，替换旧缓存栈。自2025年下半年上线，实现六个9可用性。它基于ResPC构建，分离前后端，配置灵活，处理Redis Cluster问题，迁移策略可回退。
谷歌Dreamer大神离职！「辛顿门徒」自曝错过Transformer
谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。
“OpenClaw 类”自进化智能体代表项目介绍
文章指出传统 Agent 存在记忆短暂、能力固定的瓶颈，介绍了 OpenClaw 生态中“自进化”的不同形态，还列举了 Nanobot、AutoResearchClaw 等多个代表性项目，阐述其特点和应用场景，最后抽象出自进化智能体的共同要素和工程模式。
一篇自进化Agents技术最新综述：迈向人工超级智能
LLMs有局限性，研究者关注自进化Agents系统，其范式转变为人工超级智能铺路。文章回顾自进化智能体研究进展，围绕‘什么要进化’‘何时进化’‘如何进化’展开，提供理论和实践指导。
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
Agent能自己“复盘”和“进化”，这个开源框架牛了！
文章介绍了自进化AI，其核心是执行、评估、进化的反馈循环，能自动修改Prompt和工作流。还讲解了SEW、TextGrad等优化器原理，并以SEW为例展示逻辑，最后推荐开源框架EvoAgentX。
StereoAdapter：北大首提自监督，适配水下双目深度估计
水下机器人深度感知难题待解，北大等机构提出StereoAdapter框架。它结合单双目视觉，以自监督学习适配视觉基础模型到水下域，设计双阶段结构、自监督训练策略等，实验效果好，未来还将多方面改进。