搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

清华&通院推出"绝对零"训练法，零外部数据大模型自我博弈解锁推理能力

清华、北通院和宾州州立大学研究人员提出“绝对零”训练法，让大模型通过自我博弈生成并解决任务获推理能力。测试显示，其训练出的模型超专家标注样本训练的模型，且能提升编程与数学推理表现。

Agent - MCP 是为经验丰富的 AI 开发者设计的多 Agent 协同框架，能解决传统 AI 开发难题。亮点有并行开发、持久化知识图谱和实时可视化协作，可让多 Agent 高效协作，避免上下文丢失和任务冲突。

蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。

上海人工智能实验室等联合提出DiffThinker模型，利用扩散模型构建全新视觉推理范式。它在视觉中心任务上表现优异，准确率碾压GPT - 5等模型，还能与MLLM协同推理实现1 + 1 > 2的效果。

本文介绍支付宝AI出行助手研发历程，其集成多种出行功能，基于xUI + KMP框架搭建。分享研发实践、挑战与策略，如迁移基础能力、卡片生态，适配标准框架，还提及KMP应用及数据度量体系，取得业务和研发效能成果。

今年6月Sapient Intelligence提出的HRM影响大模型推理结构，四个月后三星研究员Alexia Jolicoeur - Martineau推出TRM，700万参数模型在推理基准测试中超越参数多10000倍的模型，还介绍了TRM原理、改进及实验结果。

近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。

大型推理模型存在「过度思考」问题，训练混合推理模型易出现奖励欺骗。南大等团队提出 TNT 方法，利用思考模式解答部分为问题动态设非思考模式 token 上限，解决奖励欺骗，实现准确率与效率双赢。

AI时代从论文到产品Demo开发全链路工作耗时费力，现有Agent也有诸多问题。香港大学数据科学实验室（HKUDS）开发的DeepCode开源框架，定位“全自动AI软件开发框架”，可一键从论文/需求生成完整项目，已获7.5K Star。

谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。