开源动态7

SGLang与RBG打通大模型推理架构落地难关

InfoQ2025-09-18

AI 摘要

PD分离架构优化大模型推理性能，但落地有挑战。SGLang开源RBG项目，结合二者优势解决部署、运维难题，让性能提升在生产环境稳定实现。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

奥特曼炮轰A社，谈AI发展多方面见解

奥特曼在采访中批评AI安全派观点“反人类”，还围绕AI发展相关问题给出见解。如他认为AI会成伟大技术，但社会和经济适应慢；应让人类掌控未来，用AI赋能人类；谈了算力、产品等多方面事宜。

吴恩达在信中详细展开AI工程技能图谱中构建和部署AI应用这一项，介绍需了解的技能，如LLM基础、用数据为模型提供依据等，并阐述各技能要点，还提及构建AI系统与传统软件的区别。

DeepSeek首个多模态视觉模型deepseek-v4-flash-vision-exp上线DeepSeek API平台。文本能力与V4-Flash持平，多模态Agent能力逼近Opus-4.8，分析1000张图成本不到20美分，还上线免费Files API。

本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构，阐述 AgentLoop 平台接入方式及价值，还详述评估器设计思路、展示评测结果，最后总结方法论并展望后续工作。