「超大规模MoE」共找到 158 篇相关文章
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
Cursor发布首个编程大模型！代码生成250tokens/秒，强化学习+MoE架构
Cursor 2.0正式发布，搭载自研大模型Composer。它30秒完成复杂任务，比同行快400%，每秒生成250个tokens。还带来原生浏览器工具等新功能，基于强化学习，但模型底子透明度遭质疑。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。
用MoE打造DNA基础模型更强范式！人大实现seq2func全新突破
中国人民大学团队提出SPACE模型，通过引入物种感知编码器和谱系分组增强解码器，革新架构，提升了DNA基础模型性能与泛化能力，在多项测试中表现优于主流模型。
让方程发现走向超大规模系统——《Predicting Dynamics of Ultra-Large Complex Systems by Inferring Governing Equations》精读笔记
论文《Predicting Dynamics of Ultra-Large Complex Systems by Inferring Governing Equations》提出Sparse Identification Graph Neural Network（SIGN），将方程发现工作流重新安排，在多类系统实验中展现可扩展性与长期预测能力，还在海表温度数据中恢复出共享动力学表达。
GLM-4.7-Flash无审查版发布：30B MoE模型，仅3B激活参数
GLM-4.7-Flash无审查版由HauhauCS发布，基于原版移除审查机制。采用30B - A3B混合专家架构，总参数量31B，每次前向传播仅激活约3B参数，推理快，支持200K上下文长度，有两种变体和四种量化版本。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5，提供长文本推理后训练“配方”，含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力，效果显著，相关代码已开源。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
OpenAI公开大规模稳定训练的秘密，英伟达AMD英特尔都受益
OpenAI通过OCP开放超大规模AI训练用的网络协议MRC，它能确保大规模训练环境下网络通信稳定。该协议由OpenAI联合英伟达等厂商花两年完成，从拓扑、传输、路由维度保障网络可靠性。