「推理加速技术」共找到 4954 篇相关文章
金融智能体真的是大模型落地“最后一公里”？
InfoQ《极客有约》X AICon 直播栏目邀请业内人士探讨金融 AI 大模型实践现状。指出大小模型融合是主要方案，智能体有应用但也有问题。还分享了评估 AI 项目的要点、智能体应用案例及未来布局方向。
万字解码 Agentic AI 时代的记忆系统演进之路
文章深入探讨 Agentic AI 时代记忆系统，介绍记忆对智能体的重要性、人脑与智能体记忆的定义分类及操作，还分析 Memory Bank、LETTA 等多款产品实现，总结技术演进趋势，最后提及 Tablestore 的优势。
对谈 Memories AI 创始人 Shawn: 给 AI 做一套“视觉海马体”｜Best Minds
本文是对 Memories AI 创始人 Shawn 的访谈。他指出当下 AI 记忆多为“上下文工程”，其团队致力于打造视觉记忆层 LVMM。还探讨了视觉与文本记忆区别、LVMM 架构及应用场景等，认为视觉记忆将成下一代 AI 核心。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
2025全球大模型应用报告：红海混战「忠诚度」瓦解，用户脚踏4.7条船！
2025年上半年大模型从技术走向生产，45%企业将其用于生产环境。用户付费方式多样，使用面临知识不足、成本高的挑战。市场红海竞争，用户平均用4.7家大模型，国产模型出海需借第三国。
苹果分享 iOS 26 即将推出的 AI 基础模型的细节
苹果在技术报告中公布 iOS 26 新 AI 基础模型细节。该模型有 3B 参数和更大版本，前者在设备运行，后者用于私有云平台。介绍了架构、评估结果，还强调实现可信赖 AI 的方法。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
Gamma 创始人：小团队创业是共识，怎么做好才是最大的问题
AI创企Gamma 30人服务近5000万用户，ARR超5000万美元且持续盈利。创始人Grant Lee分享创业心得，包括小团队组织模式、重视通才、可持续业务理念、组织创新及应对PMF等问题的思路。
OpenAI IMO金牌团队爆料：AI拒绝作答第六题
OpenAI IMO团队接受采访，透露让模型获IMO金牌的项目仅用两三个月、核心开发者仅三人。还谈及模型证明风格、第六题失分原因、解决千禧年大奖难题距离等，强调通用技术及面临的新挑战。