搜索：两阶段注意力机制

「两阶段注意力机制」共找到 1642 篇相关文章

DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡

DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。

机器人基础模型π*0.6刷屏，能让机器人高效完成多项任务。它引入Recap学习法，突破传统模仿模式。其核心方法RECAP让VLA用奖励反馈和人类介入训练，还能从异构数据学习，实现自我进化。

EverMind团队发布面向人工智能智能体的长期记忆操作系统EverMemOS。它在主流评测集表现超此前工作成新SOTA，受人类大脑记忆机制启发设计，有四层架构和三大特点，已开源，后续将推云服务。

IDEA研究院团队用3B参数的Rex - Omni打破MLLM目标定位精度僵局。它统一视觉任务，结合坐标编码与强化学习，在多项检测基准超Grounding DINO等，解决定位和行为缺陷，为MLLM成下一代检测模型提供方案。

新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。

上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，一上线便引发关注。今日凌晨，杨植麟等人在 Reddit 开展 AMA 活动，回应 K2 Thinking 一系列问题，还回顾了其在多项测试中的亮眼成绩。

AI 浪潮下传统 CRM 面临效率、合规与智能融合等问题。阿里云上的 Salesforce 展出“中国定制化 AI CRM”方案，历经六年探索，从合规、生态到 AI 闭环构建能力，通过多行业实践重塑企业增长逻辑，为 SaaS 行业提供范本。

研究人员聚焦大型语言模型（LLMs）安全漏洞，提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制，在6个主流模型上平均攻击成功率达87.23%；POSD能有效抵御攻击，还提升模型泛化能力。

HAMi社区在v2.7.0版本推出针对NVIDIA GPU的拓扑感知调度功能，解决多卡通信瓶颈。文章深入剖析其设计与实现原理，介绍核心特性、阶段及代码，用双策略寻优算法保障性能与资源健康。

OpenEvidence被称为医学领域的Google和医生版ChatGPT，成立3年估值达60亿美金。它用高质量数据训练小而专模型，有“无幻觉”机制，直接面向医生推广，产品进化为临床决策助手，收入来自制药广告。