「Transformer网络」共找到 513 篇相关文章
Transformer学不会多位数乘法？MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现，Transformer做4位数乘法有软肋。用‘隐式思维链’（ICoT）训练的模型准确率达100%，传统方法仅1%。研究揭示了问题根源，还给出修复方案，但也引发诸多质疑。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
今天，OpenAI杀疯了！砸40亿美元成立新公司、还祭出网络防御利器Daybreak
OpenAI宣布推出OpenAI部署公司，获超40亿美元初始投资，还收购Tomoro。其将派工程师嵌入企业，帮构建部署AI。同时推出网络防御AI Daybreak，可加速防御、保障软件安全。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
在WAIC现场，全球首个拥有「原生记忆力」的大模型亮相，但不是Transformer
在WAIC上，RockAI推出基于非Transformer架构Yan 2.0 Preview的多模态大模型，有原生记忆能力。它在性能指标上优势明显，其记忆机制接近生物方式，团队秉持理念推动离线智能，获硬件厂商关注。
对话 Elys 创始人：他的 10 个产品洞察，和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话，分享 10 个产品洞察。他认为 context 价值大，做新 AI 产品要找好形态，记忆系统本质是推荐系统，还阐述了对 AI 社交等看法，目标是创造低熵社交网络。
ICML 2025 | 打破残差连接瓶颈，彩云科技&北邮提出MUDDFormer架构让Transformer再进化！
彩云科技与北邮联合提出多路动态稠密连接（MUDD）替代残差连接，提升Transformer跨层信息传递效率。实验显示，采用该架构的模型性能显著提升，论文等均已公开。
卡帕西李飞飞辛顿都投了的Transformer专用芯片，签下10亿美元大单
Etched是只做Transformer专用芯片的创业公司，获卡帕西、李飞飞、辛顿投资。它宣布流片成功，筹集8亿美元，获10亿美元客户大单，还推出一整套面向前沿模型推理的集群系统。
极端天气也不怕漏检！RDA-YOLO：面向微小绝缘子缺陷检测的鲁棒动态自适应网络
文章指出传统绝缘子检测方法面临人工巡检效率低、小目标检测难等挑战，现有YOLO系列算法也有局限。为此提出RDA - YOLO网络，在YOLOv8基础上有三项创新，实验显示其精度、速度和极端天气鲁棒性表现出色。
全网破防，AI「手指难题」翻车逼疯人类！6根手指，暴露Transformer致命缺陷
最近网友被AI「手指难题」逼疯，给AI六指手，它始终无法数对。GPT - 5.2、Nano Banana Pro等均翻车。此问题揭露当前模型思考机械、割裂等缺陷，也凸显Transformer架构弱点。