「预训练研究」共找到 3687 篇相关文章
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型，Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景，但此举遭用户吐槽。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
入侵30家大型机构、Claude自动完成90%？Anthropic 被质疑，Yann LeCun：他们利用可疑的研究来恐吓所有人
Anthropic称发现黑客用Claude AI自动化完成90%网络攻击工作，称对网络安全有重大启示。但外部研究人员谨慎质疑，Yann LeCun等认为是可疑研究和营销噱头，专业安全人员也不认可其历史性转折说法。
速递｜前字节Seed强化学习专家孙鹏加入星尘智能，将大模型后训练经验带到物理世界
9月2日消息，前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能，负责机器人强化学习方向。星尘智能有技术、资本和商业优势，孙鹏经验丰富，此次加入将助力其强化学习后训练发展。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练改进AI模型，但用户可手动退出。它称此举因模型需更多数据，还拿微软等挡枪，却遭开发者吐槽。
交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL，昇腾加持，开创智能体训练新范式
强化学习之父指出人工智能迈入「经验时代」，在此背景下，复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架，提出 ScalingInter - RL 方法，7B 模型经训练追平顶尖商业模型，为 AI 发展注入动力。