算法论文8

Meta、Google：揭秘语言模型记忆

深度学习自然语言处理2025-06-03

AI 摘要

Meta与Google研究：语言模型“死记硬背”容量有限，约3.6比特/参数。数据超容量时从死记转向泛化，出现“双下降”。模型大、数据多，隐私攻击成功率低。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

15家机构：图工程尽头是本体工程

15家机构联合发布图工程系统性综述，指出此前“XX工程”范式多优化单个智能体，而图工程能将智能提升到系统层面。论文还指出图工程语义局限，认为本体工程可作下一代系统智能语义地基。

RSI成人工智能前沿方向，芯片设计因有确定性验证体系，成其率先落地赛道。NovaSilicon完成融资，探索出芯片设计智能系统，发表论文介绍构建运行方法，将重塑行业。

在最新一期播客中，机器人学泰斗 Sergey Levine 与 Ryan Peterman 深度对话，触及行业焦点如机器人发展阶段、波士顿动力淡出原因等。他强调，机器人技术尚处底层搭建期，需重视先验知识、软硬件结合，跨越鲁棒性门槛。

Generalist是专注给机器人“造通用大脑”的AI公司，创立不久便多次融资，估值超20亿美元。其GEN - 1.5有强大泛化能力，演示一次就能上手，但也有很大进步空间，展示了未来通用机器人大脑学习方式。