2025年4月17日消息，OpenAI 连发o3和o4 mini，o3为强大推理模型，o4-mini专为高效推理优化。它们能调用ChatGPT工具，可基于图像思考。OpenAI还开源本地代码智能体Codex CLI，兼容所有模型。

大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准

现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。

中学生就能看懂：从零开始理解LLM内部原理【十】｜ “过拟合” 与 Dropout

文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。

The Batch: 931 | 统一视觉媒体的单一分词器

Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。

ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？

围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。

这些大神在Meta的论文看一篇少一篇了

田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。

管你模型多大，250份有毒文档统统放倒，Anthropic：LLM比想象中脆弱

Anthropic等联合研究打破传统观念，只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门，且与模型规模及训练数据量无关。研究还测试了特定后门攻击，评估了多种训练配置。

卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

刚刚，英伟达祭出下一代GPU！狂飙百万token巨兽，投1亿爆赚50亿

昨天，英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型推理带入「百万Token时代」。它性能强大，能带来高回报，可重写推理经济，还将得到英伟达全栈AI生态支持，预计2026年底可用。