「低精度训练」共找到 3100 篇相关文章
GTC 巅峰对话 Jeff Dean x Bill Dally:预训练范式已死、延迟瓶颈不在计算、谈透 AI 五年未来 | GTC 2026
GTC 2026上,NVIDIA首席科学家Bill Dally和Google Jeff Dean展开重磅对话。讨论了模型能力进步、低延迟推理架构、模型自主进化、数据与算力、训练与推理硬件差别等多方面内容,分享对未来AI的看法与见解。
Paddle OCR走到了尽头,Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA,模型只记128个token,能一次性读完40页文档。相比DeepSeek OCR,它在精度、速度上表现更优,训练成本低,适用范围广。
突破瓶颈,嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL,解决嵌入式AI持续学习难题。它优化记忆重放,有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少,成果将在2025年DAC大会展示。
模型、代码、数据全开源!轻松训练自己的垂类Agent!
Together AI联合Agentica推出`DeepSWE-Preview`,基于开源Qwen模型,用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源,抛弃SFT纯用RL训练,还分享训练秘籍和TTS技巧,为垂类Agent训练提供新范本。
一个月的活一周干完!英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长,无问芯穹与清华等推出的 RLinf 框架,从算子融合到 I/O 全链路系统级重构,使训练吞吐拉高近 4 倍,还解决多类性能瓶颈,保证训练效果。
训练即服务!让模型训练回归算法语义,150行代码跑通RL
ModelScope团队开源Twinkle框架,采用Client - Server架构,支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环,底层调度等交给框架。它兼顾易用性与灵活性,有多种特点和优势,代码已开源。
训练加速1.8倍,推理开销降78%!精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架,解决强化微调代价高问题。它精准挑题,预测难度,开销低、动态适应且平衡探索利用,在多任务表现佳,降本增效,有新范式。
AI玩拼图游戏暴涨视觉理解力,告别文本中心训练,无需标注的多模态大模型后训练范式
在多模态大模型后训练浪潮中,现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw,将拼图任务用于后训练,让模型不依赖标注强化视觉感知与理解,在图片、视频和3D模态验证有效。
把AI 时代最重要的判断力当专业学科训练,专注提升判断力
文章指出AI时代人们多只有“领域内判断力”,判断力可当学科训练。介绍预测大赛中普通人表现超CIA分析师,1小时训练能提升10%准确度,还给出判断力3层栈框架及30天训练清单。
字节Seed新作:模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文,提出预训练模型平均(PMA)技术。该技术将模型合并引入预训练阶段,可提升性能、预测衰减阶段表现,还能解决训练问题。不过,高学习率影响和强化学习应用待研究。