搜索：两阶段注意力机制

「两阶段注意力机制」共找到 1640 篇相关文章

The Batch: 896 | 教会模型说出真相

大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。

OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。

阿里发布WebDancer信息检索Agent，能自主上网查资料。它具备多步推理等能力，采用四阶段训练范式，模型和方法已开源。在多个基准测试中表现优异，突显处理复杂任务的鲁棒性和有效性。

在信息爆炸时代，传统检索技术缺乏动态决策能力，难以满足多步推理需求。阿里通义实验室发布的 WebDancer 基于 ReAct 框架，通过四阶段构建，在测试中表现优异，未来规划拓展工具生态、突破任务边界等。

大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。

Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。

埃默里大学团队推出首个视觉解释基准Saliency - Bench，构建8个任务的数据集，提供标准化评估流程与开源工具包，解决评估缺乏标准等问题，推动可解释AI向可靠、透明发展。

北大团队提出 Atomic Dance 框架，以原子动作作为舞蹈基本单元，建立有明确语义和结构的舞蹈表示，设计“动作规划 — 舞蹈生成”两阶段框架，让生成的舞蹈更符合音乐节奏和编舞逻辑，具备可解释性和可编辑性。

新加坡国立大学等多机构发布大模型潜在空间领域首个系统性全景综述，从“基础—演进—机制—能力—展望”拆解潜空间范式的底层逻辑、技术路径与未来前景，还对比了潜空间与显式空间差异。

Karpathy发长推文警告，GitHub超4万星、月下载量9700万次的Python库LiteLLM在PyPI上被投毒，含恶意代码版本为1.82.7和1.82.8，攻击负载分三阶段运行，引发马斯克关注。