算法论文7
MIT等研究：Transformer多位数乘法有漏洞
AI工程化
AI 摘要
MIT、哈佛和谷歌DeepMind研究：Transformer做4位数乘法，ICoT训练模型准确率100%，传统仅1%。问题源于长程依赖，研究给出修复方案，但推广性和模型自主性仍存疑。
阅读原文 · AI工程化
Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。
腾讯技术工程
推荐文章8
从Sigmoid到SwiGLU 读懂激活函数
本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路
AINLPer
推荐文章9
腾讯15年工程师转战大模型推理
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
腾讯技术工程
新闻资讯7
OpenAI新Astra架构曝光，GPT - 6或今晚上线
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
新智元