搜索：联合自注意力

「联合自注意力」共找到 2243 篇相关文章

清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线

清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。

本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。

文章聚焦弹窗式环境注入攻击，指出多模态智能体易受环境干扰致目标漂移。提出 LaSM 方法，通过放缩关键层权重让智能体注意力回到任务，实验显示其提升防御效果，且对正常任务影响小。

文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。

月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。

机器之心发布文章，介绍 EverMind 基于自研记忆系统 EverOS 发布自进化 Agent 框架 Raven。阐述其研发背景，指出传统 AI 无状态问题。还讲了 EverOS 特点、数字生命演进四阶段，以及 Raven 技术逻辑、对用户和开发者的价值等。

全球首个基于‘上下文信息密度最大化’的自进化智能体系统GA发布技术报告。它在多基准测试表现惊艳，能省近10倍Token，还能自我进化。报告深度解读设计理念，剖析自进化能力与智能体设计思路。

xAI联合创始人Igor Babuschkin离职并宣布创立Babuschkin Ventures，专注AI安全研究。他回顾xAI成就，如120天建成Memphis超级集群。马斯克致谢，网友关注并表达看法。

据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。

教皇发布人工智能通谕，Anthropic联合创始人Chris Olah受邀发言。他指出实验室激励与正确行事有冲突，描述了AI模型特点，还提出教会应发声的三个问题，引发社区不同反应。