「循环深度Transformer」共找到 1099 篇相关文章
Mythos架构被22岁小伙“逆推”开源了!MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos,实现带MoE路由的循环深度Transformer(RDT)。该架构仅用一半参数,就能获与传统模型同等效果,吸引学界关注。
首篇潜空间推理综述!模型思考不必依赖Token,带宽暴增2700+倍
史上首篇潜空间推理综述全面总结新兴推理范式,分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链,带宽比显式CoT提升2700多倍,还介绍无限深度推理实现途径。
提示工程死亡?不,它刚刚重生为计算科学:一篇讲透Prompt设计的科学基础
大型语言模型在多步推理任务中受挫,因Transformer架构有计算深度限制。本文建立提示设计理论框架,揭示提示是信息选择器,优化提示可使推理性能提升超50%,将提示设计从试错艺术变为可计算科学。
陶哲轩:AI 正在让“想法”变得廉价,而真正的瓶颈从未改变
数学家陶哲轩与Dwarkesh Patel访谈,探讨AI在科学发现中的作用。他指出AI让‘想法生成’成本降为零,验证想法成新瓶颈;AI擅长广度,人类擅长深度;AI负责找证明,人类提炼‘理解’与‘智慧’。
一篇论文改写AI科研评价规则!中国公司拿出实践数据,双榜第一、成本更低
今年科技巨头入局AI4S,想打造“AI科学家”。8月19日《Measuring AI Scientists: From Exams to Discovery》论文提出评价范式。深度原理MIRA平台是现实样本,在评测中表现优异,沉淀闭环数据。
Communications Engineering | 西湖大学&女王大学:面向阵风气动建模的表面压力时空动力学关联研究
西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模,融合图神经网络与注意力机制,从表面压力信号学时空关联,实现气动力准确预测,为AI在复杂气动建模提供新思路。
机器人为什么要拟人?终于有人正确回答了
今年6月,英伟达发布Isaac GR00T人形机器人参考平台,深度机智发布论文Human - as - Humanoid。具身智能瓶颈是数据,深度机智以人类学习范式破局,完成全栈技术闭环,领先优势扩大。
腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合
腾讯公开混元TurboS技术报告,该模型是超大型Hybrid Transformer - Mamba架构MoE模型,融合Mamba与Transformer架构优势,有自适应长短思维链机制,激活参数56B。在多评测中表现佳,推理成本低。
Claude强到不敢发的Mythos,被质疑用了字节Seed技术
Claude最强“神话”模型Mythos引发猜测,或用了字节Seed技术。社区热议其是否采用循环语言模型架构,关键线索来自Anthropic测试数据,在图搜索测试中Mythos优势明显,还有其他线索指向循环架构。
Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验,指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式,阐述 Loop 原理、组件及落地实践,还提及范式迁移和踩坑教训。