产品应用8
MiniCPM - SALA:单卡吞吐百万上下文
AIGC开放社区
AI 摘要
面壁智能团队:创新性结合稀疏与线性注意力提出SALA,基于此的MiniCPM - SALA模型单卡实现百万上下文推理,训练成本降75%,长文本处理强,让普通开发者也能玩百万级长文分析。
阅读原文 · AIGC开放社区
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态9
Perplexity自研CobbleDB替代DynamoDB
Perplexity核心搜索面向大模型检索,原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题,两名工程师两个月用Rust写出4万行自研CobbleDB,迁移后性能成本均大幅优化,后续计划开源。
InfoQ
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究,系统探究语言模型与人脑推理表征的对应关系,验证人脑信号可引导提升语言模型推理鲁棒性,为脑启发AI提供了新研究路径。
机器之心
推荐文章9
Kimi与DeepSeek同现大模型架构图
本文梳理大模型Attention架构从分流到重组的变迁路径,以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例,分析大模型研发的平衡逻辑与行业竞争力核心。
AI科技评论
开源动态9
腾讯发布T-Mem 让AI学会联想回忆
当前大语言模型长期记忆方案均基于相似度检索,存在结构性盲区,无法在无字面/语义相似时召回关联记忆。腾讯团队提出T-Mem,实现AI联想回忆,已被EMNLP 2026接收,代码开源并上线QQ AI伙伴。
机器之心