算法论文8
MLRA超越MLA,解码最高快2.8倍
新智元
AI 摘要
宾夕法尼亚州立大学等研究人员:提出MLRA架构,拆分KV缓存为四分支,实现4路张量并行。实验显示,其推理速度比MLA最高快2.8倍,支持百万级上下文,模型质量也更优。
阅读原文 · 新智元
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
开源动态7
HarnessEval开启RSI时代新评测范式
过去一年AI进入RSI时代,但评测方式仍停留在过去。MirroS联合多方发布HarnessEval,将Harness引入评测领域,使评测成为具备自我进化能力的智能系统,还率先应用于交互式世界模型评测。
特工宇宙
新闻资讯7
DeepSeek涨价,OpenAI降价,Agent改写价格战
近期,DeepSeek上调API价格,V4 Pro等型号涨幅明显;而OpenAI的GPT - 5.6 Luna API价格降80%,Terra降20%。这背后是大模型价格竞争方向转变,受竞争、广告、效率及Agent使用方式等因素影响。
DeepTech深科技
开源动态7
macOS Harness:让 AI 操作整台 Mac
macOS Harness 是 browser - use 团队开源项目,目标是让 LLM 用持久化 Python 进程完成 Mac 上几乎所有任务。它仅提供六个原始操作,模型用其操作应用,还能在运行中补全缺失部分。项目有诸多优势,目前仅支持 macOS。
AI工程化