「低延迟推理」共找到 2945 篇相关文章
ChatGPT正式上线广告主平台，AI产品从今天开始走向分裂。
今日凌晨，OpenAI更新ChatGPT，上线非推理模型GPT - 5.5 Instant，还官宣向企业主全量上线广告平台。此前广告已在部分地区测试，付费和未成年用户无广告，免费用户可选择关闭但功能受限。投放端向美企开放，出价高，这或成AI产品宿命。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
AI证伪百年数学猜想被打假！Lean证明惊现漏洞，哥大教授破防了
OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。
突发！Fable 5.1遭黑客破解，27万字提示词泄露
Fable 5.1和Mythos 5.1发布，Fable 5.1推理成本低32%。但发布几小时后被破解，27万字提示词泄露，曝光了其安全限制、隐私保护等秘密。它工具增加，还破解密码、能完成多种任务，不过也有用户抱怨耗token等问题。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
王小川：医疗行业对大模型有三大刚性要求，但通用模型一条都不达标
5月22日百川智能展示医疗大模型Baichuan - M4与AI家庭医生「百小医」。王小川指出通用大模型用于医疗有问题，医疗对大模型有低幻觉、强循证、会提问的刚性要求，而通用模型不达标。Baichuan - M4表现出色，百小医也有独特定位和优势，且与三家顶尖医院合作成果显著。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
长程 Agent 越跑越乱？ContextPilot 用细粒度 RL 教会模型主动管理上下文
长程 Agent 推理时，传统方法使上下文臃肿、推理成本高。清华、腾讯等团队提出 ContextPilot 框架，扩展管理工具集、采用新采样和信用分配方法。实验显示其用短上下文获高分，降低推理开销。
读万卷书，大模型就能「看」懂视觉世界？Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。