「推理服务基础设施」共找到 2930 篇相关文章
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
GPT-5.2全力出击！碾压44类专业工作，实测编程同价位无对手、深度推理封神，但速度太拉胯了
GPT - 5.2 登场，有 Instant、Thinking、Pro 三个版本，在多方面大幅升级，能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色，但存在速度慢的问题，其价格 API 端有调整，未来还将推 Codex 优化版。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
用企业级智能体落地，还有谁没踩这四种大坑？无问芯穹的系统性解法来了
企业级智能体落地遇效果、稳定、成本和商业闭环四大难题，无问芯穹推出智能体服务平台，从多方面提供解决方案，并展示SysCoding Agent案例，其基础设施或成企业拉开差距关键。
硅谷前沿访谈：CUDA之父复盘英伟达20年护城河，揭开万亿算力帝国的底牌
奇点智能研究院院长李建忠采访了“CUDA 之父”Ian Buck，探讨 CUDA 20 年演进、英伟达技术产品及生态。Ian Buck 介绍了 AI 基础设施新阶段，阐述 CUDA 成功原因，还谈及英伟达软硬件协同、应对竞争等问题。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
美团也开源了大模型，但我觉得他们的野心是通用生活Agent。
美团发布并开源560B参数的MoE模型LongCat - Flash - Chat，推理速度快。与DeepSeek V3对比，输出速度优势明显。美团多个落地或内测AI功能服务C端生活场景，目标是打造通用生活Agent。
硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台
硅基流动完成数亿元 A 轮融资，由阿里云领投。创始人袁进辉称业务因开源大模型崛起和算力需求激增爆发式增长。公司推出高性能推理引擎等，产品服务多个行业，未来将深耕创新、推动 AI 应用。
港中文 MMlab×美团新研究：仅用一个模型，应对多种视觉推理任务
港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。