「超稀疏 MoE」共找到 2275 篇相关文章
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
全新稀疏注意力优化！腾讯最新超轻量视频生成模型HunyuanVideo 1.5核心技术解密
腾讯混元大模型团队发布并开源轻量级视频生成模型HunyuanVideo 1.5，参数8.3B，支持5 - 10秒高清视频生成。它通过多层次技术创新，在生成效果、性能与尺寸上实现平衡，还具备多种核心能力。
以「图」破局，HyperOffload定义超节点存储管理新范式
随着生成式AI进入万亿参数时代，大语言模型面临“显存墙”挑战。上海交大与华为MindSpore团队发布技术报告《HyperOffload》，其核心技术集成于MindSpore 2.8，能提升超节点异构资源协同效率，已在多项目落地。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
英伟达MoE新开源：一行import，微调加速3.7倍
英伟达开源NeMo AutoModel，基于Hugging Face Transformers v5，不改代码API，添一行import就能更快速微调MoE模型。实验显示，它能提升3.4 - 3.7倍训练吞吐，减少29% - 32% GPU显存占用。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
开源多智能体开发框架：支持MCP、Agent SDK，超2000颗星。
著名企业孵化器Y Combinator支持的开源多智能体开发框架Rowboat，支持MCP服务和Agent SDK，几分钟就能开发复杂智能体工作流。它由Agent、Playground、Copilot组成，还支持创建面向用户的助手，在Github超2000颗星。
英伟达服务器涨价超15%！百亿AI基建的「内存难题」
据彭博社报道，英伟达通知客户，搭载其AI芯片的服务器价格将涨超15%，2027年初生效。涨价主因是内存需求大增、供应紧张价格上涨，这让数据中心前期投入增加，小公司更难入局。
Qwen又立功，全球最快开源模型诞生，超2000 tokens/秒！
全球最快开源大模型K2 Think诞生，速度超2000 tokens/秒，由阿联酋机构与公司合作推出，基于Qwen 2.5 - 32B打造。实测速度快且答案准确，主要为数学推理开发，团队已发布技术报告。
火星上发现超20种有机分子，它们是生命的基础
2026年4月研究显示，NASA“好奇号”在35亿年前岩石中检测超20种有机分子，7种首次发现。研究用TMAH试剂拆解有机物，揭示火星岩石保存有机物方式，发现含氮杂环分子迹象，让火星生命之谜更近一步。