算法论文8

LLM或面临灾难性过度训练

新智元2025-05-03

AI 摘要

四大名校研究发现，增加LLM预训练数据可能导致后训练性能下降，此为“灾难性过度训练”。实验表明，预训练中模型对参数变化敏感性增强，超过一定临界点会致性能退化，且存在性能与微调的权衡关系。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

英伟达首测Vera Rubin，Agent时代格局重写

英伟达公布下一代旗舰级机柜Vera Rubin NVL72片上实测数据，用DeepSeek - V4 - Pro跑任务，每兆瓦吞吐量最高升30倍、Token成本最高降35倍。还宣布Groq 3 LPX量产，推出Agent专属Vera CPU，被SpaceXAI采用。

斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。

欧洲两位安全研究员的论文《从专有 LLM API 中窃取推理轨迹》爆火。他们揭示 OpenAI、Anthropic 和 Google 用的“无状态架构”有漏洞，能利用小模型解码大模型推理轨迹，导致隐私泄露等风险。

文章介绍腾讯朱雀实验室开发的AI安全红队测试平台A.I.G，能对AI系统做全面“安全体检”，覆盖AI基础设施、MCP、LLM等风险。它功能实用，安装简单，适合折腾AI服务或MCP的人。