「推理技术栈」共找到 4734 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
2025全球大模型应用报告：红海混战「忠诚度」瓦解，用户脚踏4.7条船！
2025年上半年大模型从技术走向生产，45%企业将其用于生产环境。用户付费方式多样，使用面临知识不足、成本高的挑战。市场红海竞争，用户平均用4.7家大模型，国产模型出海需借第三国。
苹果分享 iOS 26 即将推出的 AI 基础模型的细节
苹果在技术报告中公布 iOS 26 新 AI 基础模型细节。该模型有 3B 参数和更大版本，前者在设备运行，后者用于私有云平台。介绍了架构、评估结果，还强调实现可信赖 AI 的方法。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
Gamma 创始人：小团队创业是共识，怎么做好才是最大的问题
AI创企Gamma 30人服务近5000万用户，ARR超5000万美元且持续盈利。创始人Grant Lee分享创业心得，包括小团队组织模式、重视通才、可持续业务理念、组织创新及应对PMF等问题的思路。
OpenAI IMO金牌团队爆料：AI拒绝作答第六题
OpenAI IMO团队接受采访，透露让模型获IMO金牌的项目仅用两三个月、核心开发者仅三人。还谈及模型证明风格、第六题失分原因、解决千禧年大奖难题距离等，强调通用技术及面临的新挑战。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
爆肝一周看6小时长视频，解读AI时代程序员价值几何
作者花一周看完Lex Fridman对丹麦传奇程序员DHH的6小时访谈。DHH分享编程经历，谈对流行技术看法，认为AI不能取代人类创造力，还谈及创业、开源等观点，展现深刻认知与独特态度。
突发！Qwen更新模型，全面超越kimi k2，强的离谱，主打Agent
Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。
一个重要的发布被忽略！Decart发布实时“Sora”，直播/游戏业迎来新变革
Decart推出全球首个实时、无限长度的AI视频模型MirageLSD，基于独创的“实时流扩散”技术。其响应时间低于40毫秒，攻克了“错误累积”和实现实时响应两大难题，还计划拓展应用及升级功能。