「注意力算子库」共找到 501 篇相关文章
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
狂揽 1.9 万标星！谷歌大神开源的 Agent Skills，直接提升 AI 编程的交付质量！
谷歌Gemini团队主管Addy Osmani开源的Agent Skills项目火了，已揽1.9w+ Star且还在增长。它是AI编程代理人的工程技能库，有20个核心技能，覆盖开发全周期，可提升AI编程交付质量，支持主流编程工具。
OpenAI 也把工程师经验“蒸馏”进 skill 了！Harness 爆文作者曝内部玩法：一个百万行代码系统，全程零人工编码和审核
OpenAI的Ryan Lopopolo分享Frontier团队工作方式，他们维护超百万行代码库，零人工编码和审核。实验产出Symphony，推动coding agent成“队友”。还探讨模型使用、构建速度、人类角色等问题，认为人成瓶颈，软件要适配模型。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
性能暴涨50%！谷歌、微软、OPPO 联手开源Agent “经验炼金术”
谷歌DeepMind、微软研究院、OPPO等机构开源`AGENT KB`项目，提出并实现“AI经验库”概念。它有“师徒模式”工作流，设计了从“原始日志”到“结构化经验”的构建流程，应用时分层调用知识，能让Agent性能飙升。
一文看懂 TritonNext 2026：FlagOS 亮点详解、语言扩展新趋势、AI 生成更加“底层”、芯片软件生态或迎“新拐点”！
1月9日，「2026 TritonNext技术大会」召开，专家探讨AI编译器等最新解法。如林咏华介绍FlagOS v1.6应对生态难题；崔慧敏用“AI for Compiler”破芯片演进难题；上海人工智能实验室推出DLCompiler打破算子开发困境等。
曾让 Adobe 豪掷千亿，如今要独立上市了！招股书疯狂点名 AI 150 次，新产品对标 Lovable
网页设计工具开发商 Figma 申请 IPO，招股书提“AI”超 150 次，既视其为“创意加速器”，也认为是“潜在威胁”。该公司业务增长强劲，今年扩展工具库，虽 AI 投入短期内有负面影响，但仍会加倍投入。