「多Agent并行推理」共找到 4601 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。
“商业的HTTP”来了:谷歌CEO劈柴官宣 UCP,Agent 直接“剁手”下单,将倒逼淘宝京东“拆家式重构”?
近日谷歌CEO官宣Universal Commerce Protocol(UCP),目标让Agent在线购物。它能拆解购物流程,与多协议协同。谷歌补数据底座,UCP集结众多伙伴,Agent加速落地交易场景,或使电商平台重构。
突发!Qwen更新模型,全面超越kimi k2,强的离谱,主打Agent
Qwen小更新非推理模型性能强劲,各项指标超kimi k2,与Claude opus 4持平,Agent能力亮眼。Qwen团队告别混合思维模式,新模型上线,独立训练两模型,新版本多方面提升,团队称还有大招。
集GraphRAG 和 DeepSearch于一体的智能问答系统graph-rag-agent
本项目结合GraphRAG与私域Deep Search,实现可解释、可推理的智能问答系统。亮点有从零复现GraphRAG、创新融合DeepSearch等,具备多模块功能,还有简单演示,地址https://github.com/1517005260/graph-rag-agent/blob/master/readme.md。
告别RAG相似匹配!百度Agentic-R为多轮搜索重塑检索器
传统检索增强生成(RAG)有“单跳”局限,多跳推理易出错。人大高瓴与百度提出面向智能搜索的检索器训练框架 Agentic - R,采用双视角打分和双向飞轮模式,在多数据集上表现出色。
SGLang 推理引擎的技术要点与部署实践|AICon 北京站前瞻
SGLang 是开源推理引擎,截至 2025 年 6 月,在 GitHub 获近 15K Stars,月均下载超 10 万次,被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升,他分享技术、挑战等,6 月 27 - 28 日他将在 AICon 演讲。
红杉专访 OpenAI Codex 团队:AI Coding 的未来,应该是异步自主 Agent
红杉专访 OpenAI Codex 团队,探讨 AI Coding 未来。OpenAI 5 月推出的 Codex Agent 可并行处理多任务、独立完成编程全流程。从代码补全到任务委托,AI 编程朝解放生产力方向发展,团队分享了产品思考等内容。
阿里这个Token Hub想的挺明白:用悟空认真面对企业Agent市场
3月16日阿里成立Alibaba Token Hub事业群。钉钉发布原生AI Agent新品悟空,可操作电脑,天然嵌入钉钉。企业场景是AI Agent主战场,悟空试图让Agent成企业生产力工具,打造企业级Agent地基。
马斯克挖不动的清华学霸,一年造出 “反内卷 AI”!0.027B 参数硬刚思维链模型,推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM,参数仅 2700 万却能解决复杂推理难题,其不依赖“思维链”,借鉴人类大脑工作方式。该模型准确率超先进思维链模型,推理能力强,具经济性,可提升任务效率。
DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。