「注意力残差」共找到 555 篇相关文章
Agent架构搭建 ≠ 堆Skills
现在很多Agent架构以大量Skills为基础，但这种做法大概率会翻车。Skills机制让模型自行判断是否使用及何时使用技能，其判断不可靠，随着技能数量增多，系统可靠性变差，设计上需平衡灵活性与可控性。
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。
那位曾高喊「AI能接管一切」的CEO后悔了：宣布重启人工招聘！
Klarna CEO曾称AI能取代所有人类工作，公司也实施‘AI优先’战略，用AI客服取代人类、缩减人力。但AI客服实际表现不佳，服务体验差，Klarna决定重启人工招聘，打造‘高质量人类支持’。
真钱买假模型？187篇论文被「套壳API」坑惨，准确率暴跌
CISPA论文指出，第三方影子API可能用廉价替代品替换前沿大模型。研究追踪17个服务，发现已被187篇论文引用。测试显示，影子API在多领域性能差，安全不可控，供应商有三种欺骗手段。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
Google悄悄下了一盘大棋：一天三个端侧AI项目同时爆发
Google 一天内三个端侧 AI 项目爆发，包括离线听写 App Eloquent、端侧 AI 示例集 AI Edge Gallery 和端侧大模型推理运行时 LiteRT-LM。云端大模型竞争趋同，端侧 AI 是差异化战场，Google 全栈布局有优势。
GPT-5、Grok 4、o3 Pro都零分，史上最难AI评测基准换它了
AAI机构提出新基准FormulaOne，让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题，分三类难度。测试结果显示，模型在深层及最深层难度表现差，引发关注。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。