「transformer架构」共找到 1952 篇相关文章
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
从0开发大模型的17种Agent架构演进详细拆解
文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。
OpenAI 详解规模化低延迟语音 AI 的 WebRTC 架构
OpenAI 介绍为全球规模低延迟语音 AI 调整 WebRTC 架构，将传统媒体终结模型换为中继收发器架构，分离职责，避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节，对架构师有参考价值。
在 AI 增强的变革流中，架构师要承担何种角色？
数据显示多数组织采用AI却未获实质价值，技术进步但组织影响参差不齐。架构师可弥合组织目标与开发速度的鸿沟，利用AI增强架构实践，案例展示了架构流动性在实践中的体现。
AI 时代的架构治理
本文指出在生成式AI时代，软件开发生命周期瓶颈转变为组织将创意转化为成果并保持架构凝聚力的能力。传统人工监督模式难应对，提出声明式架构策略，介绍其在事件模型、OpenAPI验证器等方面应用。
聊聊AI应用架构演进
本文按AI应用架构演进路线，介绍每次演进增加的架构内容及相关技术，涵盖从简易架构到Agent模式等各阶段，还提及监控、推理性能优化等，助读者整理新技术，为探讨AI与传统应用架构异同做调研。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
实战指南：从零构建 MCP 架构下的 Agentic RAG 系统，无第三方MCP Server
五一期间作者用MCP架构从零实现Agentic RAG系统，分享MCP与Agentic RAG融合思考、架构设计，介绍MCP服务端和客户端实现，还做了端到端效果演示，指出架构优势及待优化处。