「遗忘定律」共找到 116 篇相关文章
7篇顶会NeurIPS 2025最佳论文都说了什么？
NeurIPS 2025七篇获奖论文揭示大模型思维同质化、推理能力虚幻边界等隐忧，也在注意力机制、神经扩展定律等方面取得物理学层面突破，为AI建立更严谨科学地基。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
DeepSeek-V4蓄势待发！梁文锋署名论文或开启第二个DeepSeek时刻
据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。
Meta提出数据筛选的理论：何时“少即是多”成立？
Meta针对机器学习领域‘少即是多’悖论提出理论框架，用高维统计等方法推导测试误差缩放定律，揭示数据筛选‘相变’条件，为实践提供指导，还重新定义‘数据效率’意义。
DeepSeek开源新模型，提出上下文光学压缩：LLM的新记忆方式
DeepSeek开源OCR模型，探索用多少视觉信息让LLM理解文本。实验表明1000字文档约需100个vision tokens，压缩比10倍、准确率97%。还提出模拟人类遗忘等想法，有多种应用场景，且完全开源。
中移动九天团队MultiPL-MoE：全新Hybrid-MoE架构用于增强通用大模型低资源代码能力
大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。
性能不减，吞吐量提升6.4倍！英伟达用混合算子和架构定义小模型新标准
NVIDIA研究团队通过Nemotron - Flash系列模型，打破对‘深而瘦’架构迷信，修正缩放定律，用进化算法搜索混合算子、改进训练策略。该模型在性能、延迟和吞吐量上表现出色，远超同类产品。
刚刚，全球首个AI科学家登上Nature！包揽提出idea到写论文全流程，已通过人类盲审
历经一年半研发，Sakana AI联合多高校打造的AI科学家系统登上Nature杂志。该系统能自主完成科研全流程，代码和论文已开源。还介绍了自动审稿人、缩放定律，也指出其局限，引发伦理探讨。
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出，计算须遵循物理定律，线性进步要指数级资源，硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际，中国重应用普及更务实，AGI难以实现。
Scaling Laws起源于1993年？OpenAI总裁：深度学习的根本已揭秘
人工智能扩展定律（Scaling Laws）把模型性能和资源投入联系，是构建大模型的参考标尺。其起源说法不一，康奈尔博士生将其推至1993年贝尔实验室论文，OpenAI总裁称它揭示深度学习根本。