「反蒸馏机制」共找到 1174 篇相关文章
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
Codex自我蒸馏玩法火了！OpenAI员工亲授：复制粘贴就能让AI消灭重复劳动
OpenAI员工Vaibhav Srivastav爆出Codex「自我蒸馏」秘籍，复制提示词就能让它找出重复工作并打包。提示词从初版迭代到2.0版，覆盖更多场景且能直接创建项目。此外还介绍了Codex新功能及Vaibhav的其他玩法。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
吴恩达Agentic AI新课：手把手教你搭建Agent工作流，GPT-3.5反杀GPT-4就顺手的事
吴恩达新课聚焦Agentic AI，将开发沉淀为反思、工具、规划与协作四大设计模式，强调评估与误差分析能力。课程介绍拆解任务、构建工作流方法，还分享实用技巧，让AI系统持续进化。
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
香港中文大学等研究者提出TON选择性推理框架，使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制，实验显示其让推理长度最多减90%，准确率还提升，有益模型部署。
Rust 版 OpenClaw 来了！单文件、零依赖、强沙箱、自带“故障转移”！
Rust版OpenClaw——Moltis问世。其零依赖、全沙箱、反泄露，以Rust架构带来多好处，还统一模型接口，支持本地模型离线运行，安全和存储机制出色，是面向生产的Agent框架。