「MoE模块」共找到 381 篇相关文章
Cursor发布首个编程大模型!代码生成250tokens/秒,强化学习+MoE架构
Cursor 2.0正式发布,搭载自研大模型Composer。它30秒完成复杂任务,比同行快400%,每秒生成250个tokens。还带来原生浏览器工具等新功能,基于强化学习,但模型底子透明度遭质疑。
AI五小时发现MoE新算法,比人类算法快5倍,成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法,基于OpenEvolve框架优化算法。以EPLB算法为例,新算法比人类算法快5倍,成本降26%,且Nature也报道过AI创造新算法新闻。
用MoE打造DNA基础模型更强范式!人大实现seq2func全新突破
中国人民大学团队提出SPACE模型,通过引入物种感知编码器和谱系分组增强解码器,革新架构,提升了DNA基础模型性能与泛化能力,在多项测试中表现优于主流模型。
GLM-4.7-Flash无审查版发布:30B MoE模型,仅3B激活参数
GLM-4.7-Flash无审查版由HauhauCS发布,基于原版移除审查机制。采用30B - A3B混合专家架构,总参数量31B,每次前向传播仅激活约3B参数,推理快,支持200K上下文长度,有两种变体和四种量化版本。
QwenLong-L1.5发布:一套配方,三大法宝,让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5,提供长文本推理后训练“配方”,含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力,效果显著,相关代码已开源。
QwenLong-L1.5发布:一套配方,三大法宝,让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5长文本推理专家,提供端到端长文本推理后训练“配方”,含数据合成管线、强化学习方法、智能体架构,在多基准测试成绩佳,代码已开源。
DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。
完全透明开源的共情语音大模型,三阶段训练,四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
GPT - 4o、Gemini等顶级语音模型闭源,紫东太初团队联合长城汽车AI Lab开源端到端共情语音语言大模型OpenS2S,提供构建共情语音系统新范式,开源所有核心资源,还介绍了技术方案、数据构建及训练流程等。
NeurIPS2025 Spotlight | RobustMerge: 多模态大模型高效微调模型合并的全新范式
中科院、中山大学、北大团队针对高效微调模型合并难题,提出「方向鲁棒性」概念,揭示 PEFT 模块合并失败主因,给出 RobustMerge 解决方案,提升性能,成果开源。
提示词压缩竟成大模型新漏洞?港科大提出黑盒攻击框架COMA | ASE 2026
香港科技大学研究发现,大模型的“提示词压缩”模块会重写系统安全边界,成为新攻击面。团队提出“对抗性信息损失”概念和COMA攻击框架,实验有效,还给出隔离压缩防御方案。