搜索：大模型新架构

「大模型新架构」共找到 9996 篇相关文章

腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞

腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。

Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。

强化学习获取高质量样本成本高、风险大，现有基于扩散模型的样本增强方法有局限。浙江理工大学马啸讲师和南京大学李武军教授课题组提出 EMCES，将情景记忆机制引入可控扩散模型，提升下游强化学习算法表现，论文已被 ICML2026 录用。

上周五Kimi开源最新旗舰模型K2，它是1000B参数MoE大模型，专为Agent场景优化，API已上线且兼容多API。文章给出Kimi - K2接入Claude Code的喂饭级教程及实测，实测显示组合表现有亮点也有不足。

腾讯混元团队的Hunyuan-MT-7B以7B总参数量获国际翻译比赛冠军，还开源了该模型及翻译集成模型Hunyuan-MT-Chimera-7B。其Shy框架有三大创新，在多方面表现优异，还为垂直领域优化提供模板。

快手科技语言大模型团队提出熵比裁剪（ERC）方法，应对强化学习中信任域偏离问题。该方法从全局视角稳定策略分布，在多个数学推理基准实验中提升了模型性能，还与多种方法对比验证了泛化能力。

马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。

RAG已成大模型落地标配技术，但存在搜到对的文档、模型答案却离谱的痛点。德国萨尔大学等组成的团队诊断出问题在阅读理解，提出Disco - RAG框架，在“搜”和“答”间加“读懂”环节，已被ACL 2026主会录用。

文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。

文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。