「动作预训练」共找到 2406 篇相关文章
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
The Batch: 869 | 编码助手的训练数据
研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。
突发！OpenAI紧急暂停GPT-6训练
OpenAI奥特曼官宣暂停下一代旗舰模型强化学习训练两周，原因是确保安全等标准跟上能力水平。触发因素有Hugging Face事故和Astra达安全红线，后续将让AI监管AI，加固三道安全防线。
视觉+语言+动作！超强具身“训练宝典” EmbRACE-3K
视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。
Ilya 最新访谈，预训练时代终结后，AI行业来到了哪里？
Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。
阿里WebDancer：训练类DeepReaserch的Agentic Model
来自阿里巴巴通义实验室的研究员推出WebDancer，这是一个原生信息检索的Agentic Model，能自主浏览网页、思考和决策。它基于ReAct框架，经多阶段训练，在信息检索基准测试中表现出色，为解决复杂检索问题提供新思路。