「AAttn区域注意力机制」共找到 237 篇相关文章
OpenAI发布GPT-5.1 Codex Max,编程能力比Gemini 3更强、更持久
为换回注意力,OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro,还实现24小时项目级开发。引入自动压缩与扩展推理改进,效率提升,现已多途径可用,API访问将开放。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
海淀105款大模型背后:看这些AI玩家如何抢占内容生产制高点
在北京海淀文化沙龙上,大家探讨AI如何重塑内容生产。海淀有105款备案大模型,占全国五分之一。快手可灵月入超1亿,AI音乐大模型让创作大众化,投资人捕捉到AIGC创业潮,新的内容生产秩序正被改写。
Qwen3-Next:迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型,通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势,还说明使用方法,包括在多平台部署及处理超长上下文,展望持续优化架构。
田渊栋:连续思维链效率更高,可同时编码多个路径,“叠加态”式并行搜索
AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理,提升图可达性等任务表现,为连续思维链提供理论支持。还设计注意力选择器等机制,实验显示连续思维链模型准确率更高。此外,田渊栋还是科幻小说家。
谷歌Deep Think八语奥赛屠榜!自主攻克4大未解难题,科研壁垒崩塌
谷歌Deep Think横扫亚欧多语种竞赛,成绩亮眼。虽评测数据来自内部,未公开细节且是区域赛,但它定位为‘人类智力倍增器’,其驱动的Aletheia已产出论文,解决4个未解问题,在多领域展现潜力。
多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。
马斯克的作业还是被奥特曼「抄走了」
奥特曼宣布几周内发布ChatGPT新版本,12月推成人模式,让其重获个性化“灵魂”。这似在抄马斯克Grok作业,背后是为AI产品增长,当下AI之战已演变成争夺用户注意力和多巴胺的战争。
英伟达再出手!新型混合架构模型问世,两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron,在达 SOTA 全注意力模型精度时效率卓越,2B 版性能超 Qwen3 等,H100 GPU 上生成吞吐量最高加速 53.6 倍,基于 PostNAS 和 JetBlock 两大创新。
对普通人最有用的一次!藏师傅教你用FLUX Kontext解决一切图片问题
黑森林工作室发布生成式流匹配模型 FLUX Kontext,它能编辑图片且不影响未编辑区域,支持多图参考生成新图像。可用于去水印、修复照片、修改海报、生成商品展示图等,还能美颜美体,替代 PS 等工具。