「预训练模型」共找到 8112 篇相关文章
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
LeCun点赞：国产开源模型占领硅谷，性价比超10倍
硅谷被中国开源模型占领，Cursor、Cognition等公司模型被曝套壳或基于中国开源模型后训练。巨头如Meta也用Qwen做训练，爱彼迎等青睐Qwen。因性价比高，中国开源模型在硅谷走红。
绝对零监督Absolute Zero：类AlphaZero自博弈赋能大模型推理，全新零数据训练范式问世
清华大学 LeapLab 团队等提出全新推理训练范式 Absolute Zero，使大模型实现「自我进化式学习」。基于此范式训练的模型 AZR，在代码生成与数学推理基准任务表现出色，缓解了大模型对人工数据依赖难题。
Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。
单次训练横扫9个基准，遥感检测最大数据集与基础模型框架问世
北京航空航天大学团队发布面向通用遥感目标检测的大规模数据集与基础模型框架 LEVIRDet，构建了 LEVIRDet - 159 数据集，提出 LEVIRDetNet 模型。前者为训练泛化能力强的模型提供新数据基础，后者在多基准测试中表现出色。
科普向：一文解构大模型后训练，GRPO和它的继任者们的前世今生
文章深入解读大模型后训练，先对比 PPO 与 GRPO，指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法，如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性，还提及 GRPO 其他缺陷。
蚂蚁灵波开源LingBot-VLA后训练代码！150条示教数据即可适配新机器人
蚂蚁集团旗下灵波科技全面开源具身基座模型LingBot-VLA的真机后训练工具链，覆盖四个关键环节。模型基于2万小时真实机器人数据预训练，仅需150条演示数据就能迁移任务，训练效率更高。代码库已在GitHub开源。