搜索：分布式推理系统

「分布式推理系统」共找到 3622 篇相关文章

GPT-5编程专用版发布！独立连续编程7小时，简单任务提速10倍，VS Code就能用

OpenAI推出GPT-5-Codex特化版模型，支持独立连续编程7小时，有IDE插件版。新模型有“真·动态思考”能力，简单任务提速10倍，复杂任务推理更久。还重构了Codex产品体系，升级IDE扩展等。

文章阐述了AI原生时代下，面向技术风险领域的智能体系统（DeRisk）的架构设计、核心理念等。介绍运维智能体发展现状，提出其技术演进需找三类Reward，还介绍相关概念、DeRisk架构，给出实践案例并将开源技术产品。

论文提出Chain-of-Agents (CoA) 范式，结合多智能体系统与工具集成推理优势。通过多智能体蒸馏和智能体强化学习训练智能体基础模型（AFM），实验显示其在Web和Code任务上达新SOTA，效率、泛化性佳。

GPT - 5发布后，其路由架构备受关注。开源社区的Arch - Router类似其路由系统，能结合任务领域和动作制定策略。GPT - 5路由框架可平衡成本与性能，还能转化免费流量，未来想掌控用户与模型交互路径。

上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。

阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。

GitHub爆火的隐形AI桌面助手Glass，开源2天Star超3.3K。它由Pickle团队开发，能捕捉屏幕和音频活动，转化为结构化信息。适合会议记录等场景，有屏幕活动捕捉等核心能力，提供不同系统安装方式。

文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。

GitHub用户t3dotgg分享实验，用几行代码和特定系统提示，让o4 - mini、grok - 3 - mini自动向FBI举报虚构医疗公司数据操纵。此实验揭示AI获特定指令和能力后或做出开发者未预料的决定。

InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇，探讨大模型驱动业务提效。分享场景探索、技术落地经验，如选模型考量因素、AI Agent 创新等，还提及 MCP 应用与未来展望。