「混合注意力模型」共找到 7807 篇相关文章
Altman 秀新模型“翻车”，谷歌补刀躺赢！OpenAI 前员工爆肝3天，编程再赢老东家模型！
近期 OpenAI 多款未发布新模型登场，一款疑是“伪装的 GPT - 5”，一款编程赛获第二。宣称在 IMO 获金牌的模型遭质疑，谷歌 DeepMind 同获金牌评价更好。OpenAI 前员工编程赛赢老东家模型。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
大模型首次直接理解代码图：不用Agent自动修bug，登顶SWE-Bench开源模型榜单
蚂蚁开源新模型CGM，首创将仓库代码图模态融入大模型，不依赖闭源模型和复杂Agent，仅需4步就能快速定位、生成补丁。它在多个测试基准中领先，技术论文等均已开源。
一个模型超了DeepSeek R1、V3，参数671B，成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
IEEE TAP|上海交通大学曹慧琳、南京大学任宇翔等：AI赋能电磁仿真：物理–数据混合驱动的PdEgatSCL模型实现高效建模
为实现电大尺寸目标快速精确建模，本文提出物理 - 数据混合驱动的PdEgatSCL方法，学习CFIE做端到端预测。用EGAT架构，编码格林函数等特征。测试显示它精度高、速度快、省内存，可加速电磁建模与逆向设计。
加速200倍，单显卡1.8秒生成5秒高清视频！清华与Vidu解开了视频扩散模型的速度枷锁
清华、生数科技与伯克利联手用TurboDiffusion解开视频扩散模型速度枷锁。它改造注意力机制、引入步数蒸馏和量化策略，在多模型测试中加速100 - 205倍，且画质几乎无损。
MiniMax M2.5：230B参数仅激活10B，开源模型首次逼近Claude Sonnet，成本仅十分之一
MiniMax推出新一代开源模型M2.5，官方称其为‘为现实世界生产力设计的开源前沿模型’。性能逼近Claude Opus 4.6，采用混合专家架构，成本低。已在内部大规模部署，定位为‘AI员工’。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。