「大模型预训练」共找到 9494 篇相关文章
新SoTA方法RM-R1：让reward model对评分说出原因！超越GPT4o
过去模型‘黑箱打分’不透明、不灵活。论文提出ReasRM，经两阶段训练，让奖励模型像人类先思考再打分。它能分任务类型、动态奖励，实验中碾压GPT - 4，小模型逆袭，团队已开源6个模型。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
罗福莉首个小米成果！开源具身大模型
正式入职小米不到10天，罗福莉作为核心作者的首篇论文出炉。MiMo团队提出并开源全球首个打通自驾与具身操作领域的跨具身基座模型MiMo - Embodied，在29个Benchmark上霸榜。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
JCP | 南科大赵肃楠、王建春等：LESnets：基于物理信息神经算子的湍流大涡模拟
本研究提出基于物理信息神经算子的LESnets方法，用于快速模拟粗网格上三维湍流时空演化。不使用标签数据，训练两种神经算子，验证了其有效性和泛化能力，效率显著优于传统方法。
快手在 AI 上，渐入佳境
文章介绍快手多模态大模型 Keye-VL 1.5，参数 8B 适合中小企业。它侧重短视频场景，视频理解能力强，能与业务结合，提升推荐等场景效率。还详述其架构、预训练、后训练及训练架构优化等技术细节。
英伟达世界模型再进化，一个模型驱动所有机器人！机器人的GPT时刻真正到来
英伟达GEAR实验室提出DreamZero，是基于预训练视频扩散骨干网络的世界动作模型，有140亿参数，能让机器人通过文本提示完成未见任务。它解决了传统模型问题，在多方面表现出色，代码已开源。
美国模型长期霸榜的LMArena，出现了一个国产模型
2025 年底，中美 AI 阵营发展路径有区分，美国多是强模型加工具链，中国在多方面发力。12 月 23 日 LMArena 更新文本榜，百度文心新模型 ERNIE - 5.0 - Preview - 1203 以 1451 分登上榜单，成中国第一且是前 20 名里唯一非美国模型。
世界模型来了因果技术标杆！具身大脑真要长脑子了
具身智能有泛化能力瓶颈，构建‘世界模型’成热门赛道。Aether AI获2000万美元种子轮融资，走因果世界模型路线，创始人黄碧薇认为这是世界模型‘终局形态’，能让机器人理解物理规律。