开源动态8

EdgeRazor：端侧大模型解码加速15倍

机器之心2026-05-25

AI 摘要

南京大学与微软联合推出EdgeRazor，采用MPQAD打破极低比特大语言模型“能力塌陷”。它性能领先，解码加速15倍，训练降本增效，可即插即用，为端侧大模型部署提供解决方案。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

OpenAI自研芯片「墨西哥辣椒」跑赢英伟达

OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。

七月，DigClaw的预测框架Rhizome v1在FutureX评测平台取得优异成绩，支持了预测能力可沉淀在基座模型之外的判断。大语言模型不擅长预测，而DigClaw构建了以因果结构为骨架的预测基础设施。

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。