搜索：后Transformer架构

「后Transformer架构」共找到 3752 篇相关文章

微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。

华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。

英伟达新开源的OpenCodeReasoning系列选千问作基础底座。千问3以Apache 2.0发布后，开发者生态更新频繁，衍生模型超10万，下载量破3亿，全球第一。其性能强，正加速开启全栈式AI时代。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

香港科技大学（广州）联合腾讯AI平台部提出VibeWorlding，是可通过多轮对话等自主构建和编辑交互式3D世界的多模态智能体框架。团队开源多项数据，其模型经强化学习后表现超GPT - 5.5等。

继4月数亿元Pre - A轮融资后，龙擎空天近日完成近亿元Pre - A+轮融资，由无锡梁溪国资平台领投。两轮融资用途明确，其‘终端 + 芯片’模式有独特优势，还启动‘算力上天’战略，折射商业航天产业变革。

作者拿到 Hy3 模型测试资格，介绍其架构、性能和价格优势，还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果，最后评价 Hy3 能力、价格、适配方面的表现，并分析 WorkBuddy 领先原因。

三星员工因薪资分配问题拟罢工，后达成临时协议，但其他业务部门不满。AI 推动 HBM 需求暴涨，其市场被少数厂商垄断，技术演进依赖多领域突破。国产存储厂商有机会借供不应求切入市场，长鑫和长江存储传 IPO 进展。

文章介绍 Codex 中的 Goals，它是持久目标，能让线程跨多轮对话朝明确结果推进。阐述了 Goals 与普通 prompts 的区别、编写方法、活跃后的变化、设计方式及适用场景等，还通过案例展示其在研究任务中的应用。