「两阶段注意力机制」共找到 1640 篇相关文章
ICML 2026 | 北大提出的APEIRIA,打破了3D MLLM黑盒推理困境
北大团队提出面向3D空间推理的新框架APEIRIA,将神经符号程序推理模式蒸馏进3D MLLM。采用三阶段课程学习,在多基准测试表现强劲,保留模块化优势,为具身智能系统提供启发。
未来两年软件工程展望:从写代码到管 AI,程序员正分化成两种职业
软件行业处于转折点,AI编程发展,企业更重效率。文章探讨五个关键问题决定2026年软件工程走向,如初级开发者招聘或暴跌或反弹,开发者技能可能退化或更关键等。还为不同阶段开发者给出应对建议。
0人工参与实现梯度更新!MIT新框架让AI自动生成微调数据,权重自主升级
MIT提出新强化学习框架SEAL,可让模型生成微调数据和自我更新指令,实现权重更新。无需人工,模型能自动梯度更新。经知识注入和小样本学习实验验证效果,还介绍了其双循环工作机制。
OpenClaw爆火,暴露12类致命隐患!MCP协议安全基准发布 | ICLR
OpenClaw等开源AI Agent项目爆火,MCP协议拓宽其能力也增大攻击面。北京邮电大学团队推出MSB安全基准,揭示MCP各阶段攻击有效,性能强的模型更易受攻击,还提出NRP指标平衡安全与实用性。
挺搞笑,MiniMax模型就是不认识「马嘉祺」
网友发现 MiniMax 模型不认识「马嘉祺」,不同接口和平台均能稳定复现。这或因训练数据清洗和分布问题,使特定词汇生成异常。论文指出 tokenizer 机制缺陷或致模型异常,问题不会随参数规模增大消失。
硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】
本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。
拜拜了GUI!中科院团队“LLM友好”计算机使用接口来了
中科院软件所团队研究指出,现有LLM智能体成功率低、效率差的瓶颈在于GUI。其设计与LLM能力错配,团队提出声明式接口GOI,实现策略 - 机制分离,经测试性能提升显著。
Andrew Karpathy最新访谈:RL很糟糕、人类学习和教育、智能和文化的演变、AGI还要十年,将带来2%的GDP增长
Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年,目前算法有缺陷;强化学习虽有问题但必要;分析了 LLM 局限,探讨人类学习机制、AGI 经济影响等多方面内容。
拒绝“熵崩塌”和“熵爆炸”!这项研究让大模型学会“精确探索”,推理成绩飙升
2024年以来,大模型在推理任务上进展显著,得益于RLVR方法,但面临“熵困境”。研究团队提出选择性熵正则化方法(SIREN),通过三重机制精准调控探索行为,实验证明其能提升模型推理成绩。
登上NeurIPS,Genesis开创无需OCC引导的多模态生成新范式,在视频与激光雷达指标上达到SOTA水平
华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis,采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示,其在视频与激光雷达指标达SOTA水平,还提升了下游感知任务效果。