「高效注意力机制」共找到 1490 篇相关文章
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
AI 编程如何在团队中真正落地？
文章围绕AI编程工具Cursor在团队落地展开。分析推广难题，如使用意愿和能力问题，提出研发流程规范、结构化语言表达和应用级特化解决方案，还给出通用Rules和prompt示例，助力Cursor高效落地。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
灵初智能陈源培：一个 00 后的机器人之梦
00 后陈源培是灵初智能联创，本科土木工程专业，大二因比赛对机器人感兴趣。他研究灵巧手，参与开源项目，灵初发布相关模型。他认为强化学习对灵巧手重要，还谈了模型、创业、落地等看法。
从browser-use 出发，品 Agent 实现
本文作者以学习总结视角，从browser - use出发解析Agent实现。介绍LLM不同阶段，阐述Agent记忆、规划、工具等要素，通过对话演示和源码分析展示运行机制，还探讨MCP集成和Coze space应用模式。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
RAG系统设计：揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。
本周推荐的6个超级6的Github开源项目！
本文推荐6个Github开源项目。有Git效率神器Lazygit、美团前端日志系统Logan、解密工具Ciphey等，各项目功能强大，如Lazygit操作便捷，Logan可助定位端上问题，Ciphey能一键解密。
Claude 上线隐形水印
从上周起，Anthropic 在 Claude 模型所有文本输出中嵌入隐形水印。该水印在文本生成时织入文字，复制粘贴也保留，编辑修改可能仍在。标记机制分文本水印和文件元数据两层，全球生效。