搜索：Attention性能瓶颈

「Attention性能瓶颈」共找到 2427 篇相关文章

ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

当前主流相机可控图像编辑基于图像扩散模型，应对连续相机运动易出现问题。近日，浙大联合哈佛发布UniGeo框架，在三核心层面注入统一几何引导，克服结构退化，提升视觉质量与跨视角一致性。

ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。

华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。

哈萨比斯在Axios AI+峰会上称Scaling Law最早由DeepMind发现，靠它可能达成AGI，还预测未来12个月AI发展，如多模态融合、视觉智能突破等，且Gemini目标是成通用助手。

大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。

本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。

本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。

Aerospike正式发布Rust客户端，用于与其实时NoSQL数据库交互。采用异步优先并发模型，支持批命令等。还将支持分区查询等功能，Aerospike也提供其他客户端库助开发者构建应用。

穹彻智能发布世界动作模型 Noe - 0，全链路采用无本体采集数据。其数据来自真实环境，配合 World Action Model 架构和 AI - Native 数据基础设施，跑通从真实世界经验到机器人能力转化的完整链路，是具身智能的里程碑。