「混合架构模型」共找到 8550 篇相关文章
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
Waver：面向统一图像与视频生成的高性能基础模型
字节提出的Waver是面向统一图像与视频生成的高性能基础模型，支持T2V、I2V、T2I。它引入新架构、结合筛选流程与质量模型。虽有局限，但表现出色，架构设计独特，功能多样。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
WRC整理床铺机器人背后模型曝光！端到端双系统全身智能VLA，仅凭少量微调就能get任务
星海图在2025WRC展示G0模型，可让机器人自主完成铺床任务。其发布端到端双系统全身智能VLA模型G0，结合真机数据集与架构，还构建开放数据集，评测结果优于π0模型，即将开源。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
腾讯混元推出首款开源混合推理模型：擅长Agent工具调用和长文理解
6月27日，腾讯混元开源首个混合推理MoE模型Hunyuan - A13B，参数80B激活仅13B，推理快性价比高。它在多测试集成绩好，尤其擅长Agent工具调用和长文理解，还开源两数据集填补评估空白。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。