算法论文7

MIT等研究：Transformer多位数乘法有漏洞

AI工程化2025-10-08

AI 摘要

MIT、哈佛和谷歌DeepMind研究：Transformer做4位数乘法，ICoT训练模型准确率100%，传统仅1%。问题源于长程依赖，研究给出修复方案，但推广性和模型自主性仍存疑。

# Transformer # 多位数乘法 # 隐式思维链 # 训练方法 # 模型准确率

阅读原文 · AI工程化

Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞

MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

算法论文8

COLM三篇论文暴击Transformer祖传设计

COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。

量子位2026-08-17