「预训练语言模型」共找到 8240 篇相关文章
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
突破后训练瓶颈？Meta超级智能实验室又一力作：CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器，但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法，把推理时额外计算当教师信号，为大模型提供监督，实验显示效果显著。
NeurIPS 2025 Best Paper | 扩散模型不为人知的“时间差”：为什么先学会创作，后学会抄袭？
深度学习中，扩散模型能生成新图像且抗过拟合。巴黎高师和博科尼大学研究团队论文指出，这源于隐含的动力学正则化，训练分两阶段，数据量增加会拉开‘泛化窗口’，还给出数学解释。
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。
在一台1970年代的PDP-11上训练Transformer需要多久？答案是5.5分钟
近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。
腾讯混元团队最新研究：让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》，尝试让模型在推理阶段根据输入实时动态生成适合任务的参数，而非依赖固定参数。通过多类实验验证，这种方式在图像编辑等任务中有明显优势，还降低了训练复杂度。
500万次围观，1X把「世界模型」真正用在了机器人NEO身上
1X公司为机器人NEO引入1X World Model，使其学会‘想象’。该模型借助视频预训练，不依赖大规模机器人数据和遥操作演示，能泛化到新场景。实验显示其在多任务上表现不错，但精细操作有挑战。
破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。
百度Qianfan-VL，发票/图表/合同等PDF识别94.75%刷新纪录！
当前主流视觉 - 语言模型在企业级应用有难点，百度千帆团队提出Qianfan - VL系列多模态大模型，在通用和企业级任务表现出色，基于自研芯片训练，还提供框架与管线降低成本。