「多模型推理」共找到 9928 篇相关文章
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
OpenAI的开源，补全了亚马逊云科技模型生态的最后拼图
8月5日OpenAI上线两款开源模型，亚马逊云科技随即在旗下平台上线。此前微软借合作优势使Azure高速增长，如今OpenAI开源，亚马逊云科技模型生态更丰富，其产品受客户好评，增长势头难挡。
美团开源全模态，比肩顶级闭源模型，开源新SOTA
美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni，它有端到端全模态架构，能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略，工程上有高效技术支撑，在多基准测试表现出色。
游戏研发中的 AI 转型：网易多 Agent 系统与知识工程实践
本文整理自网易游戏高级技术经理林香鑫分享，介绍大模型在游戏研发落地实践。团队用代码知识谱图、多 agent RAG 召回等技术打造超级助手，在多业务场景落地，推动内部 AI 生成代码覆盖率提升。
清华团队开源发布首个结构化数据通用大模型
2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。
Claude团队打开大模型「脑回路」，开源LLM思维可视化工具来了
Claude团队推出“电路追踪”工具，可生成归因图呈现LLM处理信息路径，支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”，官方还给出多语言电路等示例。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒！
当全行业争论30B能否挑战万亿参数时，清华大学等联合研发的AgentCPM - Explore智能体模型用仅4B参数，在深度探索类任务有出色表现，且开源全流程配套工具，打破小模型性能局限。
阿里云飞天企业版X平头哥“真武”芯片，推理性能跃迁13倍，底层逻辑是什么？| Q推荐
过去几年，模型虽强但使用成本高，阻碍企业级AI深度应用。今年‘模型推理’成AI关键词，4月13日19:00，InfoQ联合阿里云邀专家围绕推理加速底层破局展开对话，探讨算力博弈、芯片性能跃迁等问题。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。