「MoE 模型」共找到 7760 篇相关文章
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
The Batch: 862 | OpenAI 的重新"开放"
OpenAI 发布自 2019 年 GPT - 2 以来首个开源权重模型 gpt - oss 系列，含 gpt - oss - 120b 和 gpt - oss - 20b，为智能体应用设计，免费使用修改。介绍其输入输出、架构等，还对比了性能表现。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。
Qwen3.8-Flash-Next：SGLang Day-0 支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。
能识图、看视频，也能理解软件界面：蚂蚁百灵开源Ling-3.0-flash-VL
本文介绍蚂蚁百灵开源的多模态大模型Ling-3.0-flash-VL，该模型采用稀疏混合专家架构，支持图片、视频、软件界面理解，可将视觉信息用于推理与任务执行，开放权重采用MIT许可证供开发者部署测试。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程
作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。