「推理缓存优化」共找到 3038 篇相关文章
刚刚，AMD、OpenAI联合发布超强AI芯片，推理提升35倍
今天凌晨，AMD举办2025全球AI发展大会，与OpenAI联合发布Instinct MI400、Instinct MI350系列超强AI芯片。MI350推理性能提升35倍，MI400内存配置大幅提升。AMD还开源ROCm7平台，7大AI平台与其合作。
OpenAI 开发者的 Skill 经验：如何使用评估系统来优化 Skill
文章聚焦 OpenAI 开发者优化 Skill 的方法，指出迭代 AI 技能效果难测，可借助评估系统。介绍了用 Codex 评估的流程，包括明确标准、创建技能、手动触发找漏洞等，还提及不同阶段的评估重点和工具。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
4B参数实现理解、推理、生成、编辑一体化！InternVL-U重磅开源
上海人工智能实验室联合多所高校开源多模态一体化模型 InternVL-U，仅 4B 参数，突破现有统一多模态模型瓶颈，在复杂场景超越 14B 级模型，已全面开源，提供推理代码等。
谷歌与OpenAI对狙，Gemini主打极速性价比，GPT优化对话温度
谷歌与OpenAI对狙，谷歌发布Gemini 3.1 Flash - Lite，主打规模化性价比，专为高频场景设计，成本低、速度快；OpenAI上线GPT - 5.3 Instant，优化对话体验，减少拒答、增强联网搜索等。
国内首次！8.9毫秒推理速度破纪录，1元打穿百万token
在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。