「模块化双工注意力机制」共找到 301 篇相关文章
机器人终于能用明白洗碗机了｜UC伯克利新研究
UC Berkeley团队发表研究论文，通过‘模块化教学+智能选动作’方案破解人形机器人全身协同难题。该方案结合星动纪元STAR1硬件优势，经实验验证效果远超传统方案，为机器人产业化带来落地价值。
CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范式开源
当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。
VerlTool重塑Agentic RL的训练生态
当前LLM像‘缸中的大脑’，缺乏与外界互动能力。新范式ARLT兴起，但构建训练框架面临诸多挑战。VerlTool作为统一、模块化、高效的开源框架应运而生，解决难题，在多任务实验表现出色，推动LLM向智能体转变。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
文档秒变演讲视频还带配音！开源Agent商业报告/学术论文接近人类水平
澳大利亚和英国多所高校团队提出多模态智能体PresentAgent，能将文档转化为配有语音讲解和同步幻灯片的视频演示。其模块化生成框架有可控性和领域适应性，评估显示它在各指标上接近人类水平。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
Claude Skills彻底火了，真的比 MCP 简单太多了。
Claude Skills在中文社区火了，它解决重复写提示词、token贵及定制难的痛点，可分层加载给上下文窗口减负。它能与MCP组合，官方开源20多个Skill源码，还代表了Agent能力模块化趋势。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。