「自蒸馏策略优化」共找到 2064 篇相关文章
Meta CEO X 微软 CEO 对话解读：「蒸馏工厂」为何成为开源的魅力之源？
Meta CEO Mark Zuckerberg 和微软 CEO Satya Nadella 在 LlamaCon 2025 闭幕会议对话，探讨AI对技术平台等影响，如使文档、应用和网站界限模糊，还谈及开源与闭源模型战略价值及‘蒸馏工厂’概念。
一文全解析：AI 智能体 8 种常见的记忆（Memory）策略与技术实现
本文剖析8种常见AI记忆方案，如全量记忆、滑动窗口等，分析其原理、特点和适用场景，还给出模拟代码助理解。不同策略各有优劣，适用不同对话场景，能为项目评估、选择和实现Memory方案提供参考。
为何95%的AI项目注定失败？回到未来，策略型代理AI才是正确路径
《代理AI的进展：回到未来》指出，当前95%的AI项目失败因企业缺乏消费模型的架构。文章提出‘机器中的机器’理论，论证策略型代理AI是企业转型路径，还阐述构建算法化企业生态的方法。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
Agentic RL训练：它不是单一 RL 算 法，而是一整套环境建模、学习信号、异步数据流、策略优化和基础设施的协同系统
文章指出Agentic RL训练不是单一算法，而是协同系统。它与传统RL不同，有四个训练变化。理解它要围绕三个不变量，还从环境建模等八个方面阐述，强调其竞争在于环境、信号、分布与系统的协同闭环。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。