搜索：transformer模型

「transformer模型」共找到 7753 篇相关文章

“通用大模型微调成为行业模型是伪命题”？医疗 AI 深度重构，传神语联创始人何恩培：孪生智能体能砍 70% 线下复诊工作

本文为《2025年度盘点与趋势洞察》系列内容，传神语联创始人何恩培认为通用大模型微调成行业模型是伪命题。他表示孪生智能体能砍70%线下复诊工作，还分享了医疗AI发展、中医和西医落地方向及突破方向等见解。

在 AI Agenda Live 纽约活动上，Anthropic 强化学习团队技术负责人 Sholto Douglas 称，无需新架构突破，强化学习能让 Transformer 达人类专家级别表现，接近 AGI。但定义「好表现」是难题，Anthropic 或投 10 亿美元提升模型企业应用表现。

谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。

2025年底英伟达宣布开源全新模型家族Nemotron 3，含Nano、Super和Ultra。它融合Mamba、Transformer和MoE技术，有诸多创新。这不仅是产品更新，更是战略突袭，标志着英伟达想构建AI闭环开放生态。

谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。

谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。

MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。

在 ACM KDD 2025 大会上，清华与中国移动联合发布 UoMo，全球首个面向移动网络的通用流量预测模型。它结合扩散模型与 Transformer，能理解地理与人流变化，一个框架搞定三类流量预测任务。

近年来大语言模型参数膨胀，成本升高，业界重注小语言模型。近日，Boss直聘南北阁大模型实验室发布仅30亿参数的Nanbeige4 - 3B，在多方面媲美甚至超越通义千问Qwen3系列模型，开源印证小模型潜力。