「视觉注意力机制」共找到 1561 篇相关文章
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
从“一句成片”到“长轨推演”：探究多模态智能体在长视频编辑中的应用
近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
首款推理具身模型，谷歌DeepMind造！自主理解/规划/执行复杂任务，打破一机一训，还能互相0样本迁移技能
谷歌DeepMind发布新一代通用机器人基座模型Gemini Robotics 1.5系列，由GR 1.5和GR - ER 1.5组成，结合视觉、语言与动作，实现“规划 + 执行”闭环，还提出Motion Transfer机制，能跨机器人迁移技能。
DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率
ACL公布2025年获奖论文，中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制，实验显示性能优、准确率高、速度提升显著，成果或用于DeepSeek V4。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
杨植麟带 Kimi 团队深夜回应：关于 K2 Thinking 爆火后的一切争议
上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，引发广泛关注。今日凌晨，杨植麟等团队成员在 Reddit 开展 AMA 活动，回应 K2 Thinking 相关问题，如 KDA 机制应用、训练成本、速度与准确性平衡等。
刚刚，GPT-5.4 发布，百万上下文、最强全能模型
OpenAI发布GPT - 5.4，集推理、编程等能力于一体，支持百万级上下文窗口。有三个版本，功能全面升级，如支持中途打断、电脑操作、视觉能力提升等，还更省token、少幻觉，安全机制完善，价格有调整。