「预训练模型」共找到 8237 篇相关文章
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
LeRobot v0.4.0 正式发布：全面提升开源机器人的学习能力
LeRobot v0.4.0 正式发布，带来多方面重大升级。有可扩展的 Datasets v3.0、新 VLA 模型、全新插件系统；支持 LIBERO 和 Meta - World 仿真；还有数据处理 Pipeline、多 GPU 训练简化等特性，上线了机器人学习课程。
GPT-5：我更强了，就这？“看不见”的升级
OpenAI 发布 GPT - 5，它未带来 AGI 相关的震撼升级，而是更注重实用。其训练有新特点，具备推理强、编程能力提升等特性，是 AI 从‘模型炫技’到‘产品体验打磨’转变的标志。
SFT+RL双管齐下：ReasonGen-R1如何破解文生图「指令不遵」难题？
上海科技大学等机构提出 ReasonGen-R1 框架，结合链式推理监督微调与强化学习，提升自回归图像生成模型推理和创作能力，已全面开源。介绍了其训练阶段、实验结果及推理链模式。
CUDA 20年护城河一个周末崩了 ！Claude独自跑通AMD新GPU
一个周末，Claude直接把自家最前沿模型跑在全新AMD MI355X机架，人类工程师没改一行代码。AMD还给AI开发调GPU的工具，ROCm.AI可让Agent自己部署操作。Agent补生态积累短板，对CUDA生态形成降维打击。
对话蚂蚁吴伟：训推一体池化调度，如何把GPU用到极限
AICon大会前，与蚂蚁集团吴伟深度对话，探讨GPU资源调度解法。他指出CPU和GPU有结构性差异，只在推理或训练内优化有资源闲置，国产卡缺全链路生态，软件优化有天花板。还分享架构思路、算法及落地效果等。
OpenAI核心研究员坦白：上万Agent自发成军，奇点已经到来，三个月后无法预测
本文整理OpenAI核心研究员、o1推理模型开创者Noam Brown的访谈，披露OpenAI上万自发协作多智能体的技术突破，探讨AI发展远超人类预判，奇点临近，解决对齐问题的时间窗口正快速闭合
揭秘！RLVR/GRPO中那些长期被忽略的关键缺陷
近年来大模型任务突破离不开RLVR关键技术，许多RLVR方法会进行组内优势估计，北航等最新工作揭示其存在系统性偏差，困难题优势被低估，简单题被高估。这会影响训练，论文提出校正算法。
Meta新突破！跨模态生成告别噪声：流匹配实现任意模态无缝流转
Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。
Andrej Karpathy回应强化学习之父Sutton最新观点「LLM是“死路一条”」
图灵奖获得者、强化学习之父Richard Sutton认为当前热门的大语言模型是“死路一条”，因其缺乏从实际互动中学习的能力。AI大神Andrej Karpathy认同其批评，认为当前LLM是向现实妥协的产物，还提出了“幽灵”比喻。