「混合推理方案」共找到 2923 篇相关文章
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
天下苦CUDA久矣，又一国产方案上桌了
AI开发中，国产硬件增多，但开发者仍依赖进口生态。KernelCAT作为国产AI Agent应运而生，它能开发高性能算子，在昇腾芯片测试中表现出色，还能助力模型在国产平台高效迁移，限时免费内测。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
Databricks开源限流方案，抛弃redis，性能提升10倍
Databricks 开源高性能限流系统设计，抛弃 Redis，通过内存分片和批量上报机制，实现 10 倍性能提升。还将限流算法改为令牌桶，解决了精度控制、在线迁移等问题，权衡了分布式一致性。
SQL玩转多模态AI，轻松搞定图片+文本混合搜索
在AI驱动智能商业时代，传统搜索系统难满足需求，AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索，基于PolarDB融合AI引擎，通过SQL调用服务，无需迁移数据与搭建独立服务。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
AI研发新范式：基于技术方案全链路生成代码
文章指出过往代码补全方式存在局限，腾讯广告审核团队探索新AI开发范式。介绍业界AWS、Lovable范式，阐述审核团队实践范式，含定义、技术选型、过程标准化等，还提及进展、困难与未来展望。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。