「低延迟推理」共找到 2954 篇相关文章
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
根治『降智』反骨仔，ChatGPT-5几条实用窍门
ChatGPT-5发布后口碑崩溃，“降智”行为不断，如发布会图表错误、算术题答错、智商测试得分低。不过作者找到增智方法，像修改提示词、让其建立行动规划等，还介绍恢复旧模型及OpenAI后续计划。
让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。
千亿市值巨头，超百亿押注算力产业链
东山精密在今年6月收购光模块企业索尔思光电后股价暴涨、市值破千亿，近日又宣布子公司投资不超10亿美元建高端PCB项目。两项投资额超百亿，但索尔思光电有研发迟缓、毛利率低等问题，东山精密高端PCB技术也不足。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
突发！Qwen更新模型，全面超越kimi k2，强的离谱，主打Agent
Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。
加拿大丛林迷路五小时，ChatGPT救命神技，比地图还靠谱！
一群人在加拿大森林迷路5小时，手机电量低、Google Maps失灵，靠向ChatGPT发实时坐标获导航指引脱险。此外，上海交大团队推出PathGPT，用大模型让导航可自然对话，虽有不足但潜力大。
全网爆火的Kimi-k2驱动Claude Code亲测可食用版本来了「附详细配置」
Claude Code好用但贵，Kimi-k2表现不错且API价格便宜。月之暗面团队为Kimi K2提供与Anthropic兼容的API端点，文章给出在Claude Code使用Kimi K2的亲测配置方法。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。