「注意力改造」共找到 273 篇相关文章
构建能源领域的AI专家：一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题，团队研发综合能源智能体平台，阐述框架搭建、各组件功能及设计考量，还分享思考与可优化点。
18岁天才少年，登上Nature封面！
DeepSeek-R1荣登Nature封面，成史上首个经严格同行评议大模型。18岁天才少年涂津豪以实习生身份参与，其从高中生到Nature作者的经历堪称传奇。他还改造Claude 3.5，开源项目获15k多星，还对AGI发表思考。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
ACL 2026 | LCA：DeepSeek 长文本加速神器，90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力（LCA），入选 ACL 2026。LCA 突破传统注意力机制瓶颈，适配不同大模型，降低硬件门槛与成本，提升推理效率。论文与代码已开源。
对话淘宝姜宇宁：如果你只推低价商品，是不需要用大语言模型的
淘宝姜宇宁团队上线RecGPT百亿参数推荐大模型，对“猜你喜欢”功能技术升级。大模型赋予传统推荐系统新能力，如让其“白盒化”、理解长上下文等。姜宇宁认为AI要创造商业价值，落到业务场景形成正向循环。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。