「推理性能优化」共找到 4157 篇相关文章
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
英伟达最新芯片B30A曝光
最新消息，英伟达正开发代号B30A的AI芯片，性能超H20，基于Blackwell架构，单芯片配置，原始算力或为B300 GPU双芯片一半，下月交付测试。此外还将开发RTX6000D用于AI推理，9月小批量交付。
基于 Qwen3-VL-Embedding-8B 实现文搜图语义内容检索的实战教程
文章围绕Qwen3-VL-Embedding-8B模型展开，介绍其核心特性、技术架构等，提供环境搭建、模型部署指南，给出文搜图系统架构及代码实现，还通过电商、社交媒体、企业文档三个实战案例展示应用，最后讲解性能优化与常见问题解决方法。
SD又回来了！一秒出图，手机就能玩：SD3.5-Flash让专业AI绘画进入“闪电”时代
Stability AI联合萨里大学SketchX实验室推出SD3.5-Flash模型，能在普通电脑甚至手机上快速生成专业级高分辨率图片。它将推理步骤压缩、显存要求降低、出图时间大幅缩短，画质也没明显缩水，还在性能上反超SD3.5M。
The Batch: 885 | Claude 升级了
Anthropic更新中型模型Claude Sonnet至4.5版本，在性能上显著提升，还引入可变推理token预算。Claude Code智能编码工具也获功能增强，新增Claude Agent SDK等。测试中Claude Sonnet 4.5表现优异，Anthropic重心转向编码与职场生产力。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。