「非Transformer架构」共找到 2517 篇相关文章
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。
不造芯片的IBM把制程推到0.7nm！指甲盖大小芯片集成近1000亿晶体管，半导体底层物理有望突破
当地时间6月25日，IBM发布全球首个亚1纳米芯片技术0.7纳米节点，晶体管密度翻倍，性能和能效大幅提升。该技术源于纳米堆叠架构，若5年内量产有望革新AI芯片架构，但量产面临诸多挑战。
阿里再开源，全球首个MoE视频生成模型登场，电影级美学效果一触即达
继上周开源三连发后，阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2，具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点，可在 Hugging Face 和阿里魔搭社区下载。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
首次披露！DeepSeek V3 发布软硬一体协同训练论文，公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3：规模的挑战和对AI架构硬件的思考》，从硬件架构和模型设计双重视角，探索其经济高效的大规模训练和推理方法，介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
RAG系统设计：揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。
ICCV 2025 | FDAM：告别模糊视界，源自电路理论的即插即用方法让视觉Transformer重获高清细节
针对视觉 Transformer（ViT）‘低通滤波’特性致细节丢失问题，北京理工大学等团队提出即插即用的 FDAM 模块。它受电路理论启发，能提升模型在分割、检测等任务性能，取得 SOTA 效果，有巨大应用潜力。
全网首测！首款国产GPU「AI算力本」现场上手
新智元报道首款国产GPU「AI算力本」MTT AIBOOK，它搭载国产全功能显卡，预装开发环境，打破系统壁垒。其背后的MUSA架构全栈自研，软件升级、有翻译工具，硬件架构革新，还有开源计划，产品应用广泛。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。