「专家混合架构」共找到 2358 篇相关文章
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
线性注意力回归！Kimi新模型引爆，MiniMax却悄悄换回传统架构
LLM领域线性注意力机制正在回归，工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可，今年下半年多个国产模型采用其变体，MiniMax却又换回传统架构，Kimi新模型带来新解法。
OpenClaw带火AI记忆，DeepMind用混合记忆把3D重建拉到近2万帧
近期，全球爆火的 Agent 私人助手 OpenClaw 接连更新，其长期记忆能力获关注。谷歌 DeepMind 联合加州大学伯克利分校提出 LoGeR 架构，将 3D 重建扩展到极长序列，在多数据集上表现超越先前方法。
破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
AI不靠“闭门造神”，海内外一线专家共探智能新纪元，GOSIM AI Paris 2025圆满收官！
5月7日，GOSIM AI Paris 2025在法国巴黎迎来第二日议程。全球专家围绕AI技术多方面探讨，涉及模型、基础设施等主题。还分享大模型趋势，宣布新型许可证，各分论坛展示多元成果，大会圆满收官，杭州场9月待启。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
PRSA 2025 | RPI Nithin Somasekharan、Shaowu Pan（潘韶武）：突破柯尔莫哥洛夫屏障——面向模型降阶的可学习加权混合自编码器
本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
刚刚，1122人干出“国产GPU”第一股，摩尔线程成功IPO：开盘股价疯涨，市值破2800亿！专家：国产AI芯片商业化进入关键期
今日摩尔线程在科创板上市，发行价114.28元，截至发稿股价涨至620元/股，市值破2800亿。它成立于2020年，核心团队多有英伟达背景，研发投入高，已推出四代GPU架构和产品，专家称国产GPU进入商业化验证阶段。