「预训练框架」共找到 3467 篇相关文章
让GPU不再摸鱼！清华蚂蚁联合开源首个全异步RL，一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²，实现全异步强化学习训练系统，解耦模型生成与训练流程，大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA，性能接近235B模型。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
通义团队提出环境Scaling：自动构建环境，并自主学习和成长，可让30B比肩1T效果
阿里巴巴通义实验室团队论文提出通过程序化、自动化构建模拟环境，让语言模型自主交互学习。基于此训练的AgentScaler模型，数十亿参数就达万亿级模型性能，为轻量级代理智能发展带来新可能。
微软开源3大突破AI Agent模型，仅140亿参数超越DeepSeek-R1
微软研究院开源AI Agent推理模型rStar2-Agent，140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习，在训练基础、算法、流程上有三大突破，显著提升性能且降低算力成本。
媲美DeepSeek！腾讯开源新版混元模型：AI Agent强化，超30种智能体指令
腾讯开源混元大模型最新版本Hunyuan - A13B，为专家混合模型，有800亿参数，130亿激活。支持快慢思考模式，针对AI Agent强化，设计超30种智能体指令。测试成绩超DeepSeek - R1等，架构和训练有优化。
Meta提出StepWiser，让模型学会“反思”自己的推理过程
Meta提出StepWiser解决大语言模型推理逻辑正确性问题。它训练生成式评判模型，通过强化学习在线训练，能解释推理步骤好坏。实验显示其远超传统方法，为构建可靠AI系统提供新思路。
刚刚，OpenAI发长文：找到缓解LLM撒谎的方法！
Google发布Gemini 3 Deep Think，ARC - AGI - 2准确率高且采用并行推理技术。OpenAI发长文《通过忏悔训练大型语言模型诚实性》，介绍缓解LLM撒谎的忏悔训练法、实验结果等，也指出其局限。
EMNLP 2025 Oral｜检索增强 + 两阶段微调：剑桥提出有害内容检测大模型RA-HMD，性能SOTA
多模态有害信息检测是网络内容安全治理的重难点，多模态模型在有害内容检测上有瓶颈。剑桥大学团队提出RA - HMD框架，通过两阶段微调与结构增强，结合检索增强，提升检测性能，被EMNLP 2025接收。
上海AI实验室造出首个「通才」机器人大脑：看懂世界+空间推理+精准操控全拿下
上海人工智能实验室联合多家单位提出通用具身智能大脑框架VeBrain，能集成视觉感知、空间推理和机器人控制能力。它统一三类任务语言建模范式，有“机器人适配器”，配套VeBrain - 600k数据集，性能测试表现出色。
阿里QwenLong-32B：1W+超长Token推理，知识密集型复杂文档高效推理
文章介绍阿里QwenLong - 32B在长文本推理的能力。长文本推理有训练效率低和优化不稳定问题，QWENLONG - L1通过强化学习等解决，还阐述其组件、训练步骤，并给出实战代码及相关链接。