「线性注意力机制」共找到 1036 篇相关文章
因果发现进入基础模型时代:CDFM 如何从数据中推断因果结构 | GAIR Paper 120
因果发现正从“手工挑选算法”走向“大模型统一零样本推断”范式。广东工业大学等团队提出CDFM,能统一处理多种情况,解决传统方法痛点,在多方面展现良好性能,是因果发现基础模型时代的重要起步。
行为记忆+认知记忆,中科大MemWeaver重构LLM个性化记忆
论文MemWeaver被The Web Conference 2026接收,它聚焦用户从隐式到显式文本交互时个性化生成的升级问题。提出将用户历史升级为层次化记忆,构建行为与认知双记忆模块,主实验表现优,消融实验验证其结构设计关键。
治好多模态近视和走神!上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题,总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预,无需增加计算成本,却能显著提升主流模型视觉理解能力。
让思考更准更长!强化学习新算法FIPO来了
阿里通义实验室Qwen Pilot团队发布系列博客剖析大模型强化学习机制与局限,推出新算法FIPO。该算法引入Future - KL机制,解决‘推理长度停滞’问题,在多项测试表现优异,还介绍招聘信息。
从入门到用好 Agent Skills,看这一篇就足够了
文章是全面的 Agent Skills 中文指南,介绍其架构理念、机制、开发指南等。Claude Skills 价值被低估,它像通用 Agent 扩展包,非技术人员也能开发,还探讨了使用、开发时机与核心运行机制。
ICCV 2025|UV-CoT:无监督视觉推理新突破,偏好优化重塑图像级思维链
随着文本领域思维链推理机制成功应用,研究者将其引入视觉理解任务。现有模型有局限,本文提出UV - CoT新框架,设计无监督数据生成与偏好优化机制,提升模型能力,摆脱对人工标注依赖。
FlashAttention-4震撼来袭,原生支持Blackwell GPU,英伟达的护城河更深了?
在 Hot Chips 2025 上,TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4,其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%,还实现两项算法改进。该技术一直迭代升级,提升了注意力计算效率。
R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。
AI自动写学术综述:10分钟生成6万字,成本不到四块钱
上海人工智能实验室等单位提出SurveyForge框架,能自动化生成高质量学术综述论文。它有双数据库协同驱动的大纲生成机制、学者导航代理SANA和并行生成与协调机制。还有SurveyBench评估框架,实验显示其效果好,应用前景广。
多 AI 协同 + SDD 编程实践:一个 AI 全流程交付实录
2025 年以来 AI Coding 技术发展迅速,但在复杂业务场景中存在诸多问题。文章基于 SDD 范式,构建由 Claude Code、CodeX 与 Gemini 协同驱动的工作流,介绍 SDD 理念、技术选型,详述多模型协作机制、工作流程与保障机制,分享实践步骤。