「高效注意力机制」共找到 1489 篇相关文章
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
本地可运行的高质量的文本转语音模型
介绍Kyutai的Pocket TTS，一款轻量级文本转语音应用，可在CPU高效运行，模型小且低延迟，支持Python API和CLI，能语音克隆，还可在浏览器试用，目前仅支持英语，也有社区浏览器端实现。
AI记忆革命爆发！Clawdbot如何像大脑般记住一切
2026年初开源个人AI助手Clawdbot引爆社区。它可本地运行、集成聊天平台、自主处理任务，有长时记忆和任务执行能力。AI研究工程师Manthan Gupta复盘其记忆机制原理，涉及上下文、记忆存储、搜索等内容。
61.3%！「人类最后一场考试」AI终于及格了，揭秘Agent自我进化新路径
上海交通大学等联合团队提出MemRL框架，在不微调模型参数下，让AI在“人类最后一场考试”中准确率跃至61.3%。该框架受人类认知科学启发，解耦推理与记忆，实验表现出色，或为AGI提供高效路径。
GraphRAG圈新秀：文档级RAKG
随着大模型能力增强，知识图谱成研究热点。传统KGC有实体消歧难、模式僵化等痛点。文章提出RAKG框架，将RAG评估机制引入知识图谱构建，实现文档级自动化构建与评估，多指标表现优异。
Meta华人新秀毕树超，重磅爆料下一代LLM路线！RL+预训练直通AGI
OpenAI前研究员、Meta成员毕树超在哥大演讲指出，AGI需高质数据、好奇驱动探索与高效算法，Scaling Law有效，规模决定智能，终身学习是重点，还探讨了AGI面临的诸多问题与挑战。
10万token自然语言推理，让30B-A3B模型站上奥赛金牌线
上海人工智能实验室报告显示，30B - A3B规模的SU - 01模型不依赖外部工具，经训练在IMO、USAMO、IPhO等奥赛评测达金牌水平。研究还验证更高效科学推理系统路线，有望用于更多科学问题。
10级漏洞刚补完，React又炸了！现代Web“默认底座”因一行代码缺失引发全球地震，开发者经历最黑暗一周
12月12日，React官方确认RSC里有两处新漏洞。此前React2Shell漏洞危害大，超两百万台服务器有风险，开发者服务器被入侵挖矿。该漏洞因核心通信机制缺一行校验代码，Vercel等平台受波及。