技术实践8

RTP - LLM助力淘宝搜索相关性模型推理优化

阿里云开发者2026-01-26

AI 摘要

淘宝搜索为解决口语化Query问题引入大参数LLM模型，面临性能挑战。团队基于RTP - LLM框架，通过调度优化、批次内前缀复用、MoE Kernel动态调优等，支撑模型上线，还展望了未来优化方向。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

实测阶跃Step 5 Preview工程能力

本文作者池建强参与阶跃星辰新一代旗舰大模型Step 5 Preview小范围内测，设置带两层bug和隐藏需求的编码工程题，与Qwen 3.8 Max、Kimi K3对比测试，分享实际项目使用体验，给出客观评测。

Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。

DeepSeek V4 Flash正式版API上线公测，其价格便宜得离谱，如0.07美元就能制作第一人称3D射击游戏。与Claude Opus 5、GPT - 5.6等对比，功能相近但成本低很多。它靠MoE架构等降低成本，还提升了性能。

推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。