「注意力去偏」共找到 443 篇相关文章
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
Claude Code发布Agent View，多任务流的ADHD患者有救了
Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。
AI撑爆GitHub！天天宕机，18年老兵带5万星项目「决裂出逃」
GitHub第1299号用户、Vagrant之父Mitchell Hashimoto，因GitHub连续宕机和AI转型，带着5万星项目Ghostty出逃。AI让GitHub负载剧增，其资源向AI倾斜致基础设施维护变差，“去GitHub化”声音渐大。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
每天上线一个新系统，这款腾讯自用低代码有什么不同
腾讯自用低代码平台无极，平均每天上线1.2个新系统，用户覆盖1/3员工。它去模板化，从数据结构设计开始，数据推导UI，有灵活编辑器，支持渐进式开发，具备集成性和开放性，还有AI赋能。
17 万模型背后：魔搭联合 AMD 送 1000 小时 GPU 的算盘
魔搭社区联合 AMD 推出「AMD 开发者激励计划」，提供最高 1000 小时 GPU 算力额度。魔搭社区对标 Hugging Face，托管超 17 万个开源模型。此次激励是三方匹配的生意，还释放了硬件去美元化和模型托管社区升级的信号。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。