「并行推理加速」共找到 2693 篇相关文章
文库 GenFlow2.0，这个特性让我大吃一惊
作者作为创业者和 Agent 重度用户，分享了使用文库 GenFlow2.0 的体验。它是全球首个全端通用 Agent，支持多 Agent 并行工作，过程可干预，整合多维生态，交付形态接近专业生产工具，还支持 MCP 协议开放能力。
单机狂飙4万亿参数，国产AI「四大天王」首次合体！这台超节点鲨疯了
国产「四大开源天王」可在单机运行，背后是「元脑SD200」超节点。它有超大显存、高速互联域和超强算力，支持64路本土GPU且可商用。浪潮信息以开源为战略加速大模型商业化落地。
T-PAMI｜中国科大、合工大等提出CAPER++：让关节物体位姿感知真正迈向「又快又稳」
在具身智能发展下，关节物体位姿感知难题待解。中国科大、合工大等团队提出 CAPER++ 框架，从关节驱动视角建模，将位姿学习拓展至 SE (3) 流形切空间，实现端到端推理，兼顾精度、鲁棒性与实时性。
LM Studio宣布支持在Mac上跑Qwen3-Next 80B模型
LM Studio宣布支持基于MLX框架在Mac上运行阿里Qwen3-Next 80B模型。该模型虽总参数量达800亿，但每次推理仅激活30亿。第三方评测显示其4bit量化运行效果好，不过实现GGUF格式支持尚需时间。
24张图，从GPT-2到gpt-oss，看OpenAI开源模型技术演进
2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。
Axiom Math 对谈 SGLang：模型的下一步是可验证，结果层才是真正的护城河
在AGI Playground 2026圆桌论坛，Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境，可验证或成瓶颈，还从长任务智能体、推理基建等多方面深入交流，如模型验证、基建优化等。
告别「想完再做」卡顿！清华StreamingVLA让VLA边想边行动，提速2.4倍
视觉 - 语言 - 动作（VLA）模型“观测 - 生成 - 执行”串行模式致交互卡顿，清华与联想合作提出StreamingVLA框架，引入两项技术实现并行处理，在测试中显著提升效率和流畅度，为VLA模型部署提供新方案。
AI看图一本正经胡说八道？「一拉一推」让模型看得全又准｜微软x清华
随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。