「window attention」共找到 121 篇相关文章
从Transformer到GPT-5，听听OpenAI科学家 Lukasz 的“大模型第一性思考”
2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。
当Sora 2意外停摆，这个国产视频生成创业团队，直接「开源」三连击
OpenAI叫停Sora 2项目，同期北京AI初创公司Sand.ai在GitHub连续三天开源核心技术栈，包括音视频同出大模型、分布式Attention组件、全局编译框架，还介绍了团队和产品，展现全栈实力。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
开源白嫖！微软这个开源 Agent,让 AI 帮你点按钮、填表格、跑多步流程（还可跨设备）
微软开源智能自动化框架 UFO，主线是 UFO³（Galaxy 多设备编排）+ UFO²（Windows 桌面 AgentOS）。能将多步任务拆分执行，解决跨应用、多步骤甚至跨设备任务难题，有多种功能亮点。
Genspark 发布 GenOffice：AI 时代的 Office，免费、开源，抢占办公人群的第一工作入口
8月3日，Genspark创始人景鲲在AGI Playground 2026大会发布GenOffice，这是面向Windows和Mac的本地Office客户端，免费、开源、无广告，将AI引入高频办公场景。GenOffice Alpha版已发布，后续会和用户、AI Agent共建迭代。
你的最快安卓芯片发布了！全面为Agent铺路
高通发布全球最快Windows PC处理器骁龙X2 Elite系列、全球最快移动SoC处理器第五代骁龙8至尊版移动平台。高通CEO安蒙提出对AI趋势的六大理解，新芯片在性能、功耗等方面有显著提升。
新榜单CompileBench：让AI能搞定22年前的老代码
近日，CompileBench 测试 19 个 AI 模型编译真实代码能力，最难任务是复活 2003 年代码并交叉编译到 Windows 和 ARM64。不同模型表现不同，如 Claude Opus 4.1 成功完成 ARM64 静态编译，各模型有不同优缺点。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。