搜索：稀疏注意力机制

「稀疏注意力机制」共找到 1044 篇相关文章

杨植麟带 Kimi 团队深夜回应：关于 K2 Thinking 爆火后的一切

上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，一上线便引发关注。今日凌晨，杨植麟等人在 Reddit 开展 AMA 活动，回应 K2 Thinking 一系列问题，还回顾了其在多项测试中的亮眼成绩。

研究人员聚焦大型语言模型（LLMs）安全漏洞，提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制，在6个主流模型上平均攻击成功率达87.23%；POSD能有效抵御攻击，还提升模型泛化能力。

OpenEvidence被称为医学领域的Google和医生版ChatGPT，成立3年估值达60亿美金。它用高质量数据训练小而专模型，有“无幻觉”机制，直接面向医生推广，产品进化为临床决策助手，收入来自制药广告。

OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。

港科广和腾讯研究团队提出CausalMACE方法，将因果推理机制引入开放世界多智能体系统。该方法含全局因果任务图，框架分“判断”“规划”“执行”环节，在基准任务中表现出色，已中稿EMNLP 2025 Findings。

尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。

当前RL4LLM领域发展快但存在标准、结论不一及机制解释不足等问题。阿里巴巴淘天集团和爱橙科技联合高校基于ROLL框架研究，评估关键技术组件，提出简化算法Lite PPO，在多基准上表现佳。

在AI Agent开发热潮中，MCP-Use作为开源Python库爆火。它用6行代码让LLM操控万物，支持多模型、多服务器，提供安全机制，适配网页浏览、3D建模等多种场景，降低AI Agent开发门槛。

清华大学Ran Duan、Longhui Yin团队发表论文，提出确定性新算法，在稀疏图上表现超经典Dijkstra算法。新算法时间复杂度为`O(m log²/³ n)`，不维护全局有序顶点队列，应用前景广，可节省计算资源。

现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。