「AI推理加速」共找到 11290 篇相关文章
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
Sora 2 惊现 LLM 推理能力，视频生成模型也能搞推理？
Sora 2在科学推理基准测试中获55%成绩，虽不敌GPT - 5，但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题，网友也证实背后或有GPT - 4o等处理。此外，Google研究显示视频模型经大量训练或有推理能力。
AI-Infra-Auto-Driven-SKILLS v0.1.0：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
推理成为新中心、Agent 把生产级问题提前：AI Infra 的边界正在被重写
本文基于多开源社区联合大会的行业交流，分析AI落地生产后对基础设施的改变，指出推理成为新中心，Agent提前带出生产级问题，AI Infra边界正被重写。
上海AI Lab、浙大EagleLab等提出RRVF：利用「验证非对称性」，只输入图片学习视觉推理
上海AI Lab、浙大EagleLab等联合完成研究，提出RRVF框架，利用「验证非对称性」，仅输入图片学习视觉推理。它构建闭环系统，通过迭代推理、视觉反馈等步骤训练模型，实验显示效果佳，证明验证法则力量。
刚刚！Sam Altman官宣：Plus用户GPT-5推理提至每周3000次，AI版电车难题已来
Sam Altman官宣ChatGPT Plus用户GPT - 5级推理额度提至每周3000次，还将更新UI、公布算力权衡策略。同时指出GPT - 5推出带来AI情感依恋及伦理困境，如AI成情感寄托时公司如何应对等问题。
AI Agents和Agentic AI有什么区别？
论文《AI Agents vs. Agentic AI》深入探讨AI Agent和Agentic AI的本质差异。AI Agents是集成大模型和外部工具的单体系统，适合简单任务；Agentic AI是多智能体协作新范式，适合复杂场景。还提及挑战、解决方案与未来方向。
科学进步实际上很大程度依赖于实打实的实验结果，而不仅仅是理论智力｜AI 自我提升不会突然“起飞”，而是逐渐加速的过程
如今未实现AI自我提升，一旦实现将是重大突破。但它不会突然飞跃，而是缓慢持续的过程。不同领域提升难度有别，科学进步受现实实验速度限制，AI自我提升更可能是缓慢加速进程。