「高效推理框架」共找到 3696 篇相关文章
告别数据「噪音」，UCSD大模型推理新方法DreamPRM充当「信号放大器」，登顶MathVista测评榜
DreamPRM由加州大学圣地亚哥分校团队开发，在MathVista测评榜夺冠。它通过双层优化框架解决多模态过程奖励模型训练难题，能与多模态大模型集成，提升推理能力，实验效果显著。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
d-Matrix用3D堆叠技术终结"内存墙"，AI推理迎来光速时代
2025年9月Hot Chips上，d - Matrix展示3D堆叠数字内存计算技术，直击AI“内存墙”难题。其产品Corsair带宽强大，新Pavehawk架构更有性能跃升，为AI推理开辟新赛道，虽面临挑战但前景可期。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
跑分第一，推理暴跌！Claude Opus 4.7上线48小时口碑崩了
Claude Opus 4.7发布48小时口碑两极撕裂。官方榜单并列全球第一，但逻辑推理公开测试成绩暴跌，token消耗涨35%，旧接口报错，用户吐槽「更贵、更蠢、更爱顶嘴」，Anthropic虽解释却难平用户怒火。
攻克结构化长文档检索难题！新框架让模型告别“结构性失明”
SEAL团队推出全新对比学习框架SEAL，通过带结构感知和元素对齐，将文档宏观层级结构和微观元素语义融入Embedding空间，提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标，还开源了万级字数长文档数据集。
“AI版LeCun”自己讲解论文，自我进化智能体框架生成精美演讲视频
加州大学研究者提出自我进化的学术演讲智能体框架EvoPresent，它由四个智能体协作，核心美学模型PresAesth模拟人类审美判断。团队构建评测体系，实验显示其在内容与视觉设计上提升显著，让AI兼顾逻辑与美感。
RLHF与RLVR全都要，陈丹琦团队最新力作将推理能力拓展到通用智能
普林斯顿大学陈丹琦团队发布学术成果，提出基于模型奖励思维的强化学习（RLMT）方法，弥合专门推理与通用对话能力差距，将链式思维优势扩展到更广泛范围，提升整体对话表现。
谷歌IMO金牌模型可以用了！推理性能秒了o3、Grok 4
谷歌拿下IMO金牌的模型Gemini 2.5 Deep Think已在Gemini App推出，速度更快、实用性更强。该模型仅对Ultra订阅用户开放，月费约1803元。其推理性能超o3、Grok 4，有迭代开发等优势。
Cloudflare 推出 Agent Tracing：支持截断限制，不同框架的 Payload 默认记录策略存在差异
Cloudflare推出Agent Tracing，可提供统一Dashboard查看已部署Agent会话。该功能在现有Workers Tracing基础上增加Agent级别的Span，有收费时间表。不同框架Payload默认记录策略有差异，Trace有截断限制。