「全注意力残差」共找到 2027 篇相关文章
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库，为终端侧设计，有开箱即用等四大优势。它基于Apache 2.0协议开源，能满足向量检索在多场景需求，相比现有方案功能更全、资源管控强、性能出色，后续还将持续迭代。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
Claude有的，国产也有！紫东太初科研龙虾ScienceClaw，已经把Harness卷进实验室
Claude发布的Managed Agents让“Agent Harness”概念受关注，而国内紫东太初ScienceClaw早有相关思路并落地。它全链条覆盖科研，能7x24小时优化，具透明执行优势，还覆盖通用场景，架构有创新。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
清华大学等联合研发的 AgentCPM-Explore 智能体模型，基于 4B 参数在深度探索类任务表现出色，有打破参数壁垒等亮点，还全流程开源，解决小模型性能提升挑战，邀伙伴共建端侧智能体生态。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
Vibe Coding 产品最大的错觉，是以为自己真的有护城河
Base44创始人Maor Shlomo认为Vibe Coding工具易被复制，技术护城河难寻。他指出真正的护城河是“垂直整合”，构建全栈平台很关键。还谈到市场竞争、软件发展趋势、公司策略等多方面内容。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
AI-Native 的 Infra 演化路线：L0 到 L5
文章来自 Agent Infra 创业者 Hang Huang，以其产品开发实践经验，分享 Agent Infra 机会。指出 AI 编程生产力跃迁，从写代码到掌控软件全生命周期是趋势，还提出 L0 - L5 模型描述 AI-Native Infra 演化路径。
微软GigaTIME登上《Cell》：5美元切片变成免疫图谱
微软GigaTIME登上《Cell》，能把5美元H&E切片翻译成稀缺免疫图谱，在人群尺度重建TIME。它突破癌症免疫研究旧限制，成果经多数据集验证，已在Foundry Labs与HuggingFace全量开源。