「多尺度Transformer」共找到 4367 篇相关文章
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估，得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异，还指出工具使用瓶颈等问题，且开发预测模型辅助架构选择。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
谷歌创始人谢尔盖・布林回母校演讲，复盘谷歌发展，承认曾低估Transformer，让机会给OpenAI。还回顾谷歌诞生、AI掉队又靠Gemini 3翻盘的历程，给出对大学生、创业者建议，反思退休决定。
一文探析多分类指标Accuracy/Precision/Recall/F1-score
文章探讨机器学习分类模型评价指标，指出Accuracy在不平衡数据集有缺陷，需引入Precision、Recall和F1 - score。分开解析二分类和多分类模型指标，还给出不同场景下指标侧重建议。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
钢铁版OpenClaw，Transformer作者用Rust打造，告别数据裸奔
OpenClaw开源后虽发展迅速，但存在严重安全问题，如数据明文处理、隐私保护缺失、恶意组件等。Transformer论文作者Illia Polosukhin用Rust打造IronClaw，重构底层架构，升级记忆引擎，还指向去中心化经济。
抢疯了！AI宠物翻译器：800多块，预售2万单
PettiChat宠物翻译器售价800多，预售2万单。它能将猫狗叫声转成句子，翻译延迟1.2秒，还具备位置追踪、安全警报和声音克隆功能。其靠大模型的声音识别和情绪推理系统实现翻译。