开源动态7
开发者用老机器5.5分钟训练Transformer
机器之心
AI 摘要
开发者复现1970年代技术，用PDP - 11汇编语言实现ATTN - 11项目，训练单层单头Transformer仅需5.5分钟。此成果在低资源下实现功能闭环，引发网友对Transformer所需条件的思考。
阅读原文 · 机器之心
在一台1970年代的PDP-11上训练Transformer需要多久？答案是5.5分钟
近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Anthropic营收反超OpenAI，IPO占优
IPO前夕，Anthropic最新年化营收达650亿美元，8个月翻超7倍，反超OpenAI。双方在资本市场竞争激烈，A社在起跑时间、财务、商业模式上占优，但OpenAI用户规模和产品生态占优，目前A社牌面更好。
量子位
新闻资讯8
菲尔兹奖得主：AI数学优势在‘输得起’
OpenAI发布内部版模型Astra的十项成果，引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果，指出AI优势在‘输得起’，还探讨找例方法、模型短板，给出训练建议与衡量跨越门槛的标准。
新智元
算法论文8
COLM三篇论文暴击Transformer祖传设计
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
量子位
算法论文8
北大等提出 TensorCast，推理首字延迟最高降 93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
机器之心