「反思蒸馏」共找到 220 篇相关文章
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
独白：OpenAI前员工的深度反思
OpenAI前员工在博客分享工作体验，从文化、技术等多维度剖析公司。指出极速扩张面临挑战，文化独特，技术上用Python单体代码库、依赖Azure，还详述Codex项目诞生，认为AGI竞赛在OpenAI等三家展开。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。
DeepMind发布SIMA 2！打通「感知-推理-行动-反思」闭环
DeepMind推出的SIMA 2，可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力，从指令执行者变为互动伙伴，有强大迁移泛化与自我提升能力，是迈向AGI重要一步，但也面临一些挑战。
语言反思>强化学习：伯克利新架构碾压传统RL
大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。
Meta提出StepWiser，让模型学会“反思”自己的推理过程
Meta提出StepWiser解决大语言模型推理逻辑正确性问题。它训练生成式评判模型，通过强化学习在线训练，能解释推理步骤好坏。实验显示其远超传统方法，为构建可靠AI系统提供新思路。
训练机器人方式对了吗？英伟达DreamZero双榜第一新反思
NVIDIA的DreamZero在RoboArena和MolmoSpaces基准测试双登顶。分析文章《Why is DreamZero so good at robotics?》从多维度拆解其表现突出原因，质疑传统认知，如数据量并非万能，模型规模和信息输入方式也很关键。
SceneWeaver：面向通用三维环境生成的反思型智能体框架
室内场景合成在具身智能兴起下愈发重要，现有方法存在局限。BIGAI提出SceneWeaver框架，通过基于工具的迭代优化统一多样场景合成范式，具有高保真模拟、强健物理交互等优势。
Agent开始“自我进化”：会出题、会反思，还会自己长出新技能
文章围绕自进化Agent展开，介绍其概念、受重视原因及三大技术路线，涵盖各路线代表工作的特点、评估及对比，指出研究空白如总结者训练等，最后还介绍了基于Agentic AI的全链路数据助手Dola。