「生成式预训练」共找到 4011 篇相关文章
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
AI视频进入蒸汽机时代
百度蒸汽机 2.0 迎来重磅升级，推出行业首个通用 AI 长视频生成功能，突破时长限制，引入交互式需求表达功能。它解决了传统视频生成痛点，在多个维度优化创新，还带来商业应用新可能。
UserBench 与 UserRL 带来的交互智能范式转向
当下大模型在与用户交互时存在不足，来自UIUC与Salesforce的UserBench和UserRL两篇新作，将‘用户价值’量化，把‘可测的交互’转化为‘可训练的策略’，从评测和训练层面推动模型向‘懂用户’转变。
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。
3个月手搓Gamma架构，这个团队打造出了场景白盒化推理的“下一代内容OS”
AI应用从生成范式转向任务执行范式，Pi团队3个月手搓Gamma架构，打造出场景白盒化推理的“下一代内容OS”。Pi将AI生成与人的编辑能力结合，解决传统创作难题，实现创作全流程系统内闭环。
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。
LoRA中到底有多少参数冗余？新研究：砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术，证明即使大幅减少LoRA的可训练参数，模型性能依然强劲。研究团队在多个任务上测试了LoRI，发现仅训练LoRA参数的5%，LoRI就能匹配或超越其他方法的性能。
关于机器人数据，强化学习大佬Sergey Levine刚刚写了篇好文章
训练大模型难度随规模和应用拓展而增加，所需数据海量。机器人领域获取训练数据成本高，研究者尝试找替代方案。强化学习大牛Sergey Levine分析数据组合，认为鱼和熊掌不可兼得，替代数据有局限。
这家公司刚成立7个月，正在打磨通用具身智能的终极形态
超维动力（Kinetix AI）于2025年7月注册，9月研发，不足一年便举办独特发布会，让KAI人形机器人“自己发布自己”。其认为高拟人是训练强世界模型前提，构建了含本体、世界模型等的技术体系，但面临工程与成本挑战。
CMU朱俊彦等上新LEGOGPT，一句话就能搭乐高，网友：复杂零件行不行？
近日，CMU助理教授朱俊彦团队带来基于文本生成3D乐高的大模型LEGOGPT，输入文本即可快速拼好乐高，生成的乐高还有纹理和颜色。研究人员让机器臂组装模型，结果完美。该模型仍有局限，团队正努力扩展能力。