「Next-Token推理」共找到 2531 篇相关文章
刚刚，OpenAI新Transformer火了！Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
模型声称会“脑补”，结果被论文打脸了？潜在空间想象竟是“摆设”！
多模态大模型中“潜在视觉推理”概念很火，研究者让模型在潜在空间“想象”。但清华和北交学者论文指出，潜在 Token 不关心输入、不影响输出、没信息量。作者提出 CapImagine 方案，效果远超潜在空间方法。
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。
突发！字节开源 36B 模型Seed-OSS
字节跳动Seed团队开源Seed-OSS系列36B模型，用12T tokens训练，采用Apache-2.0许可证。该模型能灵活控制推理预算，有两个基座版本，Instruct版在多方面表现强劲，性能碾压OpenAI开源模型。
首批GPT-6内测结果好离谱啊。。。
GPT - 6使用资格分批开放，内测玩家抢先体验。其在3D生成、游戏开发、网页制作等多领域表现出色，如15分钟做出Mac应用，空间推理达世界级水平，但运行时Token消耗大。
马斯克：AI巨浪已至，吸干全球救命钱！
马斯克警告AI激流已至，过去一年全球AI推理Token用量暴增25倍。ARK首席未来学家指出AI基础设施投资回报高，引发资本转移与挤出效应，传统企业融资难、人才流失，将被AI“吸干”资本。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。