「上下文去噪训练」共找到 2905 篇相关文章
GPT-5≈o3.1！OpenAI首次详解思考机制：RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称，GPT-5类似o3.1。他详解模型推理过程，强调RL+预训练是AGI正道，肯定DeepSeek的GRPO算法，还分享自身经历及OpenAI工作结构。
Generalist之后，罗剑岚团队推出LWD，也要变革具身智能训练范式
智元机器人与上海创智学院联合发布全新具身智能训练范式 LWD，可让机器人在真实世界部署中持续自主改进。它打破传统 AI 静态模式，构建数据飞轮，在四大维度创新，经测试表现出色，或成具身智能转折点。
字节跳动Seed1.5-VL复杂图表精准抽取，Deep Think是多模态未来的主流
文章介绍字节跳动的Seed1.5-VL模型，它能精准抽取复杂图表，处理模糊图片、推理几何题。其由视觉编码器和LLM组成，预训练语料丰富，后训练结合多种方法，推荐在huggingface体验。
在一台1970年代的PDP-11上训练Transformer需要多久？答案是5.5分钟
近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。
开发者狂喜：Thinking Machines发布首款产品Tinker，后训练麻烦全给包了
OpenAI前CTO创办的Thinking Machines推出首款产品Tinker，这是用于微调语言模型的API，能简化LLM后训练过程，支持前沿模型，使用LoRA技术降低成本，还发布开源库，多高校团队已试用。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
单次训练横扫9个基准，遥感检测最大数据集与基础模型框架问世
北京航空航天大学团队发布面向通用遥感目标检测的大规模数据集与基础模型框架 LEVIRDet，构建了 LEVIRDet - 159 数据集，提出 LEVIRDetNet 模型。前者为训练泛化能力强的模型提供新数据基础，后者在多基准测试中表现出色。
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
字节发布通用游戏智能体！5000亿token训练，用鼠标键盘吊打GPT-5！
字节seed团队打造通用游戏智能体Game-TARS，基于键盘—鼠标动作空间训练，用超5000亿标注量级数据，结合新技术提升扩展性和泛化性，在多类游戏任务中表现超越GPT - 5等模型。