搜索：混合架构模型

「混合架构模型」共找到 8550 篇相关文章

模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！

大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。

普林斯顿大学助理教授刘壮在访谈中指出，架构没那么重要，数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节；当前数据集远不够多样；大语言模型有语言空间的世界模型，但视觉空间的还缺失；记忆是瓶颈，智能体只是权宜之计；AI目前还替代不了研究生。

小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。

继上周开源三连发后，阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2，具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点，可在 Hugging Face 和阿里魔搭社区下载。

三星研究院发布端侧大模型架构MeKi，提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力，实现容量与性能提升。实验显示其性能、效率表现优，为边缘部署LLM提供新思路。

腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。

大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。

英伟达发布专为龙虾打造的开源模型Nemotron 3 Super，总参数120B，激活参数12B，在龙虾模型基准PinchBench上成功率全球第四。该模型结合Mamba与Transformer架构，引入多项创新技术，还开源了模型权重、数据集等。