搜索：推理系统优化

「推理系统优化」共找到 4331 篇相关文章

不改模型、不降质量，谷歌让Gemma 4快了3倍：本地跑大模型彻底变天

谷歌给Gemma 4家族更新Multi - Token Prediction推测解码架构，推理速度最高提升3倍且输出质量不变。介绍了LLM推理慢的原因、MTP解决办法、对开发者的利好、技术细节、使用方式等。

AI字幕质量和延迟难平衡是业界老问题。香港中文大学、字节跳动Seed和斯坦福大学研究团队提出序贯策略优化框架SeqPO - SiMT，在70亿参数规模实现SOTA，翻译质量媲美Qwen - 2.5 - 7B离线水平。

该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。

南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。

随着DeepSearch问世，搜索模式正从传统网络搜索向智能体搜索转变。文章拆解Search Agent核心模块，围绕制定任务、搜索、优化、应用和评估分析，介绍各模块特点、架构及优化方向等。

谷歌论文提出Learn Your Way AI增强型教科书系统，有两阶段AI生成框架，构建完整学习体验。经专家评审和RCT证明，使用该系统的学生学习效果和体验更好，还介绍了其可用场景。

开源君分享开源项目`ReactOS`，它类似Windows，目标是与NT系列无缝兼容，可直接运行Windows软件和驱动。该项目始于1996年，在Github获15.9K star，有轻量、兼容等特点，安装简单。

PKINet - v2是改进的遥感目标检测模型，能处理复杂形状和尺度变化问题。它在PKINet基础上升级，统一条带与方形卷积，部署时折叠为单大核。在多数据集上精度和速度提升，可服务多领域，但对特殊目标仍有检测问题。

近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。

Pinterest 推出新一代数据库摄取框架，突破传统批处理局限。旧系统延迟高、运维复杂，新框架基于 CDC 等构建，处理有变化记录，将数据延迟从超 24 小时降至 15 分钟，还节省成本。