「策略内自蒸馏」共找到 1357 篇相关文章
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
AI 驱动的多代理金融工作台
Vibe-Trading 是 AI 驱动的多代理金融工作台，能将自然语言请求转化为交易策略等。它有自然语言转策略、多数据源、专家团队等核心能力，具备面向交易的深度研究等功能，还介绍了安装方式、环境变量和推荐模型。
ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略，解决LoRA训练难题。该策略在训练早期随机失活部分适配器，后期提高激活概率，提升模型融合、剪枝能力，还能增强单任务性能与训练效率，已被ICML 2025接收。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
仅看视频就能copy人类动作，宇树G1分分钟掌握100+，UC伯克利提出机器人训练新方式
UC伯克利团队研发出名为VideoMimic的新系统，能将视频动作迁移到真实机器人。它已让宇树G1模仿100多段人类动作，还能适应各种地形。其工作流程含视频转仿真、仿真训练策略、策略迁移到实体机器人。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
开源模型两个月内杀死比赛
过去60天，Vercel AI Gateway调用数据显示，开源模型Token调用份额从28%涨至62%，反超闭源模型。英伟达60亿美元入局扶持，闭源虽推新降价仍失领先，开源走向大规模应用。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
综述：LLM 驱动AI Agent通信协议与策略
文章指出传统互联网用户完成行程繁琐，而代理互联网可让代理自动完成。随着LLM驱动智能体应用深入，其发展专业化，需多智能体协同，有效通信成关键。介绍了智能体通信定义、分类及多种通信协议。