「可预测并行架构」共找到 2415 篇相关文章
彻底说清 Human-in-the-Loop【下】:分布式环境下的挑战与应对
本文继续探讨如何将HITL Agent扩展到分布式环境,介绍分布式环境下的挑战与应对、实现分布式的HITL Agent、实现客户端的故障恢复及服务端的故障恢复建议,还给出演示代码参考。
MCP 火爆半年后,是时候对它“祛魅”了
2024 年 11 月 25 日,Anthropic 发布的 MCP 协议意义重大,解决了 AI 模型与工具、数据源集成的碎片化问题。文章深入探讨其架构、价值、影响及趋势,还采访专家解答相关疑问。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理,通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程,以及优化策略和配置启用方式。
OpenAI官方发布【Codex 上手指南】
OpenAI 昨晚推出 Codex 研究预览版,这是强大的远程编码智能体,能导航代码库、解答疑问等。官方还发布使用指南视频,介绍了快速上手步骤、工作方式,以及提升效能的方法。
LLM Inference 和 LLM Serving 视角下的 MCP
文章先解释 LLM Inference 和 LLM Serving 概念,再从两者视角分析 MCP,指出 MCP 是两者复合体,难归一边。最后预测 MCP 未来发展,要明确功能划分,前后端独立演进。
一个LoRA实现GPT-4o级图像编辑!浙大哈佛新模型冲上Hugging Face榜二
随着Gemini、GPT - 4o等把基于文本的图像编辑推向高峰,提高性能常需大量数据和大参数量模型。而浙大哈佛团队提出ICEdit,用少量数据和参数实现高质量图像编辑,媲美甚至超越商业大模型。
Ropedia刘子纬:具身智能的Scaling Law,不是算力,是人类的经验
Ropedia刘子纬指出,当前物理AI面临差距,下一阶段需Scaling人类物理世界的经验。Ropedia构建真实世界经验引擎,形成经验飞轮,目标是打造能看见、记住、想象并行动的模型。
近5w颗星!一个能同时指挥多个AI写代码的开源工具来了
现在写代码,很多人想开多个AI助手。Orca是支持多AI Agent的编程开发环境,各Agent在独立git worktree里运行,互不干扰。它功能丰富,还支持多系统安装。
Azure Cosmos DB 严重漏洞曝光:一条查询可攻破所有租户数据库
Wiz Research 披露 Azure Cosmos DB 漏洞利用链 CosmosEscape,攻击者用特制查询可获所有数据库读写权。Microsoft 已修复,此漏洞揭示移除全局密钥耗时久,客户在此期间较被动,还引发多场争论。
前沿模型被曝年度重大漏洞:加密思维链可被轻松提取,GPT,Claude,Gemini 无一幸免
一篇 116 页论文揭示前沿模型思维链重大安全漏洞,Anthropic、OpenAI、Google 的 API 因架构问题,模型隐藏推理过程可通过两次 API 调用被大规模提取,还会带来多种安全威胁。