「大模型推理系统」共找到 9175 篇相关文章
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
规范驱动开发：让架构变得可执行
文章介绍规范驱动开发（SDD），它是软件架构重大转变，以可执行规范为核心，构建五层执行模型，反转传统架构关系，强调漂移检测，明确人机分工，具备五项核心能力，但采用时也面临多种权衡。
Claude Code之父最新访谈揭秘：Claude Code 迭代靠的是直觉「附个人独家使用秘笈」
Claude Code项目负责人Boris Cherny在访谈中揭秘其迭代靠‘直觉系统’，探讨智能体编程实用化、模型演进等。他还谈及软件工程师未来工作转变，给出使用Claude Code秘笈，强调基础与创造力重要性。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估，得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异，还指出工具使用瓶颈等问题，且开发预测模型辅助架构选择。
基于文本AI的终结？Agent协作可直接「复制思维」，Token效率暴涨
在 Agentic AI 时代，多智能体系统让 AI 从单打独斗变为团队协作。普林斯顿大学等机构研究者提出多智能体推理框架 LatentMAS，将协作从 token 空间转移到潜在空间，实验显示其性能、效率大幅提升。
画质重生，第一！腾讯TEG香农实验室斩获CVPR 2025 UGC Video Enhancement 冠军
CVPR NTIRE是计算机图像恢复与增强领域有影响力的赛事。在NTIRE 2025 UGC Video Enhancement中，腾讯TEG香农实验室团队自研算法夺冠，成果落地提升视频清晰度。团队还参加实时赛道获佳绩，且做了硬件推理优化。
6小时复刻AI IMO金牌成果，蚂蚁多智能体新进展已开源
2025年IMO赛场，顶尖大模型起初表现不佳后有突破。蚂蚁AWorld项目团队6小时复现并开源DeepMind解题结果，给出可一键运行系统。AWorld证明多智能体协同优势，还介绍复现思路、核心优势及体验方式。
GPT-5.5 Instant上线：幻觉减少52.5%，告别废话
OpenAI完成ChatGPT默认模型的静默升级，GPT-5.5 Instant全面替换GPT-5.3 Instant。它在数学推理、减少幻觉、精简回答、记忆功能等方面有显著改进，还采用灰度推送策略。开发者认为其定位是日常场景够用顺手。