「混合注意力机制」共找到 1183 篇相关文章
浙大提出Translution：统一Self-attention和Convolution，ViT、GPT架构迎来新一轮性能突破
近日，浙大与新加坡国立大学提出新型深度神经网络基础操作Translution，融合Self - Attention与Convolution优势，实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升，但对算力要求更高。
切开Claude大脑，Anthropic称发现了一个类似人类意识的内部空间
Anthropic在Claude模型中发现J空间，其与人类大脑全局工作空间理论相似，承载特殊内容且可干预、参与多步推理等，但模型和人脑有差异，研究也有局限性。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
1.5K Star！网页提取神器 webclaw：让 AI 精准抓取网页核心内容！
webclaw是专为AI工作流打造的高性能网页提取工具，能把网页转成适合大模型的内容。它有Token优化、极速响应等亮点，支持多种安装和使用方式，解决了传统抓取工具的痛点。
跳过88%专家，保住97%性能！MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模，MoE架构虽降低计算开销，但推理成本仍高。香港科技大学等团队提出MoDES，它是training - free动态专家跳过框架，能跳过88%专家还保留97%性能，推理速度提升2倍。
“心内推理”：一种动态多模态潜在空间推理范式 | 直播预约
当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。
GPT-5都救不了的AI幻觉，原来问题不在模型，在“考卷”
OpenAI研究指出AI产生幻觉的根本原因是评估和激励机制有问题。现有训练和评估流程奖励‘猜测’，导致模型易产生幻觉。研究还给出解决方案，要更新‘考试规则’，让模型适当表达不确定。
Agent与工具交互平台级探索，只用接入一个MCP服务就能调用6000+工具
在模型性能趋同背景下，知识库、工具成AI应用差异壁垒。MCP规范Agent与工具交互，但在实际生产中有挑战。ACI.dev项目维护者Aipotheosis Labs探索简化Agent与外部工具集成等过程，对企业级应用有示范意义。
AI开始逆向一切，你电脑里的每个软件都要被迫开源了。
本文从开发者用AI逆向重写Adobe全家桶开源的热点事件切入，介绍AI大幅降低逆向工程成本的行业新趋势，分析其对软件行业商业模式的冲击，探讨AI时代产品的护城河问题。