「并行推理加速」共找到 2686 篇相关文章
世界模型太慢？西交大提出Fast LeWorldModel：用「动作前缀并行预测」让动态估计加速4倍
视觉规划里世界模型‘想象’过程慢，西安交通大学研究团队提出Fast LeWorldModel，从根本改变预测方式，实验显示其提升了成功率，还大幅缩短规划时间。
长文本推理 5 倍提速！面壁MiniCPM4 端侧模型发布，0.5B模型效果秒杀同级
近日，面壁发布 MiniCPM4.0 端侧模型，有 8B、0.5B 两种规模。其在基准测试表现出色，长文本推理提速，缓存锐减，还做了架构创新。此外，面壁有自研推理框架，科学化建模产线，6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。
密室逃脱成AI新考场，通关率不足50%，暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发，提出EscapeCraft：一个3D密室逃脱环境，用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型，发现它们在推理和探索行为方面存在诸多问题。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
10个Agent一键组队：并行智能体协作，端到端交付从24h缩减到4h！
过去写代码靠程序员手动输入，即便有Copilot等工具，仍需人主导。并行代理出现后，程序员可调用多个AI并行工作，将端到端交付时间从24h缩减到4h，思维方式也需转变，对工程师能力要求也有变化。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。