「注意力控制」共找到 663 篇相关文章
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
人形机器人控制新突破！敏捷稳定两不误，一个策略让人形机器人完成叶问蹲和跳舞｜港大&英伟达&清华
港大、NVIDIA和清华联合团队提出AMS统一人形机器人全身控制框架，首次在单一策略实现动态运动跟踪和极限平衡控制。通过异构数据源、混合奖励机制和自适应学习策略，解决数据限制和优化目标冲突问题。
Snapchat提出Canvas-to-Image：一张画布集成 ID、姿态与布局
Canvas-to-Image 是面向组合式图像创作的全新框架，将不同控制信息整合在同一画布，简化图像生成控制流程。它解决了传统生成流程中控制方式分散的问题，能在推理阶段组合多种控制信号，实验效果良好。
CNCF 警告：仅靠 Kubernetes 不足以保障 LLM 工作负载的安全性
云原生计算基金会（CNCF）指出，企业在 Kubernetes 上部署大语言模型（LLM）存在安全缺口。Kubernetes 无法理解或控制 AI 系统行为，需增加额外控制层，引入 AI 特定控制。
Anthropic：怎么才能控制模型的行为，做好Agents?
Anthropic发关于AI Agents博客，围绕如何配置上下文让模型输出期望行为展开。指出上下文是有限资源，有Context Rot现象，介绍了上下文工程概念、构成，还提及即时策略、长时间任务处理方法及实践建议。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
TileLang vs Triton 详解：谁该握住控制面——编译器还是开发者？
文章对比 TileLang 与 Triton 两个框架，解释控制面设计、并发协议、编译管线的本质差异，以及这些差异如何影响性能上限、工程投入。明确 TileLang 追求榨干内核，性能上限高但对开发者要求高；Triton 追求快速落地，生态成熟。
突发！OpenAI 宣布重大调整：非营利组织将继续永久控制公司！
OpenAI宣布重大结构调整，包括继续由非营利组织控制、营利实体变为公益企业等。网友对此看法不一，有人认为是为赚钱囤资本，也有人肯定其能兼顾使命与发展，变革影响待察。
挖掘注意力中的运动线索：无需训练，解锁4D场景重建能力
香港科技大学（广州）与地平线团队提出VGGT4D，通过分析VGGT内部机制，利用注意力层运动线索，提出无需训练框架，在动态物体分割等任务表现优异，为低成本4D重建提供新思路。