「预训练数据精炼」共找到 3932 篇相关文章
突发！卡帕西官宣加入Anthropic，OpenAI对家挤满了前员工
安德烈·卡帕西宣布加入 Anthropic，负责 Claude 模型大规模训练。他是知名 AI 研究者，曾任职 OpenAI、特斯拉等。此前 AI 人才争夺 Meta 和 OpenAI 是主角，Anthropic 闷声吸纳了卡帕西，OpenAI 联合创始团队成员多有流失。
GPT-5系列咋都爱说「哥布林」？原因找到了
OpenAI发布博客解释模型迷上「哥布林」的原因。原来是训练“Nerdy”人格时，奖励信号偏爱怪物词汇，强化学习将风格固化并扩散到普通对话。此前DeepSeek V3.1也出现过「极」字Bug。
把 MiniMax M2.7 扔进真实业务里：它替我省了 BI 和程序员的钱
作者测试 MiniMax M2.7，用含复杂数据的 Excel 测试其办公能力，让其开发管理系统验证工程能力，还测试 MaxClaw 多步骤 Agent。结果显示它表现出色，但处理复杂事件仍待优化。
60秒极限挑战！中国GPU独角兽杀出重围，斩获图形顶会大奖
2025年12月，SIGGRAPH Asia 2025在香港开幕，摩尔线程在3DGS重建挑战赛中凭自研技术LiteGS斩获银奖。该团队还开源3DGS基础库LiteGS，实现全链路协同优化，提升训练效率与重建质量。
大型语言模型稳定强化学习的新路径：几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。
南洋理工、北大、上海AI实验室开源长记忆世界模型
目前世界模型模拟方法在维持长期一致性上有挑战，南洋理工大学、北京大学王选计算机技术研究所、上海人工智能实验室联合开源长记忆世界模型WORLDMEM，介绍了其记忆机制、基础架构、训练技术及检索策略等。
ICML'25 | 告别手动SFT！一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
ICML25 | 让耳朵「看见」方向！仅依靠360°全景视频，就能生成3D空间音频
空间音频技术成提升沉浸式体验关键，但现有技术未充分利用360°全景视频空间信息。OmniAudio研究可直接从360°视频生成空间音频，相关代码和数据集已开源，虽有局限但前景好。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。