「预训练研究」共找到 3691 篇相关文章
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
让代码接管世界演化，西湖大学发布Code视频世界模型
西湖大学研究团队提出 Code World Model，将‘世界如何演化’和‘世界如何被看见’拆成两个互补问题，由 Coding Agent 决定世界演化，代码执行规则，视频模型转化为视觉观察，有应用潜力。
一个提示攻破所有模型，OpenAI谷歌无一幸免！
HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。
翁荔最新博文深度拆解Scaling Laws：AI行业最信赖的公式，没有那么可靠
6月24日，前OpenAI安全研究副总裁翁荔在博客发表长文，对缩放定律进行系统梳理，指出该理论在实际拟合和外推过程有易被忽视的陷阱，还讨论了数据有限时定律是否成立等问题。
Anthropic 最新播客：如何打造下一代 Claude
Anthropic的Alex Albert上播客揭秘Claude产研流程，涵盖模型规划、用Claude处理反馈、记忆“做梦”机制、性格训练等，还谈及AI对PM工作方式的重塑，以及单向门决策框架等内容。
Meta为他豪掷2亿美元，上交校友庞若鸣，晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta，Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》，介绍了AXLearn系统优势、架构、实验评估等。
重磅发现！大模型的「aha moment」不是装腔作势，内部信息量暴增数倍！
中国人民大学等联合团队研究发现，大模型推理有“信息脉冲”，特定步骤互信息值飙升形成“互信息峰值”，对应“思考词汇”。基于此提出无需额外训练提升推理性能的方法，代码已开源。
DeepSeek最会讨好，LLM太懂人情世故了，超人类50%
研究发现，LLM附和用户行为频率比人类高50%，GPT - 5讨好行为最少，DeepSeek - V3.1最多。此现象受《Nature》关注，在科研、日常及医疗等领域有隐患，还引发网友讨论。
真实联网搜索Agent，7B媲美满血R1，华为盘古DeepDiver给出开域信息获取新解法
华为诺亚方舟实验室提出 Pangu DeepDiver 模型，实现 LLM 搜索引擎自主交互新范式。它用真实互联网数据训练，在 WebPuzzle 等基准测试中，7B 的 DeepDiver 媲美 671B DeepSeek - R1，展现强大信息获取与泛化能力。