算法论文8
Parallel-Probe 提升大模型并行推理效率
机器之心
AI 摘要
马里兰大学等团队:针对大模型并行推理效率低问题,提出 Parallel-Probe 算法,能减少无效计算,在 Qwen3 模型测试中表现优,还推出 SCOUT 测试床,代码和平台已开源。
阅读原文 · 机器之心
破解大模型「无效并行推理」:Parallel-Probe问世,并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe,通过 2D Probing 刻画并行推理动态,发现问题后提出控制算法,能降推理延迟 35.8%、总 token 成本 25.8%,还推出 SCOUT 测试床,代码和平台已开源。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
用Agent优化SGLang 性能大幅提升
本文是百度百舸与SGLang联合Meetup的分享整理,讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化,覆盖多类模型场景,公布实测性能提升数据与百度百舸的通信优化效果。
GiantPandaLLM
推荐文章9
Kimi与DeepSeek同现大模型架构图
本文梳理大模型Attention架构从分流到重组的变迁路径,以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例,分析大模型研发的平衡逻辑与行业竞争力核心。
AI科技评论
推荐文章9
梁文锋的11篇AI论文有多牛
本文深度梳理了DeepSeek梁文锋过去三年署名的11篇AI核心论文,还原其从成本破局到Agent基础设施卡位的底层技术路线,拆解各论文核心突破,展现中国大模型差异化竞争路径。
AI科技评论
新闻资讯8
Agent接管现实任务 边缘计算需接住
本文结合9月23日英特尔行业解决方案大会的现场案例与产品,探讨AI Agent落地现实任务后边缘计算的新要求,分享多行业落地方案,点明AI从云端演示走向实际业务的产业变化。
AI前线