「高效推理框架」共找到 3696 篇相关文章
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
AI 应用开发的破局之路：字节跳动 Eino 框架实践
在 InfoQ 举办的 QCon 全球软件开发大会上，字节跳动沈桐介绍 Eino 框架在组件抽象和业务编排的创新实践。该框架以大模型为基础，解决应用开发中节点、信息流转和沉淀框架的问题，还给出开发实例，展望了未来重点方向。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
腾讯开源智能体新框架：不用训练无需充值，用开源模型实现SOTA Agent
智能体框架是推动智能体生态发展的基础设施，但现有框架存在上手门槛高、依赖闭源模型等问题。腾讯优图实验室开源Youtu - agent框架，无需训练模型、不依赖闭源API，性能领先，有多个核心亮点和典型应用案例。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
Claude 代码框架之战
开发者尝试让Claude做繁琐编码工作，自己担任高价值角色。当前开发者社区正进行“Claude代码框架之战”，文中给出设计Claude工作流的八个选择及搭配套餐，指出设定框架能让AI发挥最大效力。
卷疯了！这个清华系Agent框架开源后迅速斩获1.9k stars，还要“消灭”Prompt？
随着大模型能力突破，Agent 从概念走向应用，各类框架不断涌现。清华系团队发布开源框架 Cooragent，获 1.9k stars。创始人王政分享 Agent 发展洞察，指出大模型能力提升推动 Agent 商业化，还探讨 MCP、框架等多方面问题。
中大 × MBZUAI重磅开源！A₁：全透明高效 VLA 模型，机器人实时控制成本直降 76% 丨CVPR 2026 Findings
开放世界机器人操作被大模型算力成本和推理延迟难题困住，中大与MBZUAI团队推出全开源的A₁模型，其自适应推理方案降低推理延迟和骨干计算量，性能超主流基线，打破‘高性能=高成本’魔咒。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.27B参数硬刚思维链模型，推理完爆o3-mini-high
新加坡Sapient Intelligence推出小参数AI模型HRM，能解决复杂推理难题。它受大脑启发，提出“隐性推理”路径，准确率碾压先进思维链模型，推理能力超越o3 - mini - high，经济性突出，任务效率可百倍提升。