搜索：训练推理协同

「训练推理协同」共找到 3854 篇相关文章

10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题

推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。

当前LLM像‘缸中的大脑’，缺乏与外界互动能力。新范式ARLT兴起，但构建训练框架面临诸多挑战。VerlTool作为统一、模块化、高效的开源框架应运而生，解决难题，在多任务实验表现出色，推动LLM向智能体转变。

新研究量化推理模型时代提供更优答案的环境成本，研究人员估算14个开源权重的大模型碳排放，发现推理与排放存在权衡关系，还指出战略性部署可降低排放。

大模型技术推动AI从‘回答问题’迈向‘执行任务’，Agentic AI兴起。中国科大认知智能全国重点实验室提出Claw - R1项目，将前沿Agent Runtime与强化学习训练框架结合，为Agentic AI提供新训练基础设施。

O家刚免费上线GPT - 4.1，A家新版Claude Sonnet和Claude Opus被曝即将发布，亮点是“极限推理”，能在推理和工具使用间建立动态循环，更智能处理问题，预计未来几周发布，虽有网友质疑，但也有实测证据。

Techcrunch消息，大模型平台Anthropic就Bartz诉Anthropic案与多名作者达成和解并提交文件。此前下级法院裁定其用书籍训练模型属合理使用，但涉盗版或面临高额处罚，Anthropic曾上诉，和解细节未公开。

华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。

DeepMind推出的SIMA 2，可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力，从指令执行者变为互动伙伴，有强大迁移泛化与自我提升能力，是迈向AGI重要一步，但也面临一些挑战。

卡耐基梅隆大学研究者构建基于GSM - Infinite的可控合成数据框架，分析预训练、中期训练和RL对模型推理泛化能力的影响，调和了RL有效性的不同观点，为改进训练策略提供基础。

2025年8月OpenAI发布gpt - oss，作者受相关项目启发，用约1000行Java代码实现gpt - oss推理引擎并发布在亚马逊官方github。文章分享开发体会，介绍模型架构、Java实现、性能优化等内容。