开源动态8

超对称开源 Monte Carlo 注意力

AI科技大本营2025-11-10

AI 摘要

超对称技术公司开源 Monte Carlo 注意力，用于 BigBang - Proton 模型。它解决了超长上下文长度需求，无须分阶段训练，降低计算复杂度，突破传统技术限制，还对比了与其他注意力机制的差异。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Kimi与DeepSeek同现大模型架构图

本文梳理大模型Attention架构从分流到重组的变迁路径，以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例，分析大模型研发的平衡逻辑与行业竞争力核心。

美团推出LongCat-2.0，是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强，适配主流编程工具，架构设计原创，还证明了国产算力有支撑大模型迭代的能力，训推成本更低。

文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。

北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。