搜索：训练方法升级

「训练方法升级」共找到 4013 篇相关文章

突发！卡帕西宣布入职Anthropic

大神Karpathy宣布加入Anthropic，重回一线大厂。他曾多次在AI领域转换角色，此次将加入预训练团队，开展用Claude加速自身预训练研究。外界揣测其离开OpenAI原因，加入Anthropic能为研究提供更多资源。

Skild AI推出Skild Brain机器人大脑，它在虚拟环境训练相当于一千年时间成型。此模型没在对应机器人训练，控制能力是涌现的，能应对肢体断裂、马达卡住等情况，还可完成精细动作。

本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。

常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。

麻省理工学院提出自适应语言模型框架SEAL，让大模型生成微调数据和更新指令适应新任务。实验显示，其生成的合成数据微调效果超GPT - 4.1，在少样本学习和知识整合任务表现优异。

东方理工陈云天等团队在论文中提出让视频扩散模型学习“潜在科学知识”的框架，方法分三步，在流体和台风数据实验中表现超主流方法，展示生成式AI在科学建模的探索。

Neuralink首位人类受试者Noland Arbaugh自曝大脑芯片更新方式和特斯拉类似，可在线升级。如今奥特曼入局，其参与创立的Merge Labs获2.52亿美金种子轮融资，要做更大规模脑机接口。

AI 编码赛道竞争激烈，Vercel 的 V0 发布 AI 模型，可在 Cursor 中使用，还推出新工作流提升 UI 生成效果。文中介绍了 V0 特点、Cursor 设置方法及使用演示，还分析了 Vercel 自研模型的原因。

当下GPT-5.5等模型原生支持1M上下文，虽能支撑长任务，但易被噪音干扰且费Token。作者以Claude Code为例，介绍做好会话管理的多种省钱方法，如根据任务选择会话策略、利用rewind功能等。

科大讯飞发布全国产算力训练的讯飞星火X1.5，推理效率暴涨100%，综合性能跻身全球顶级。还首发非自回归语音大模型架构，效果提升、成本降低。此外，展示多领域应用成果，发布相关产品，开源智能体平台。