搜索：智能体推理框架

「智能体推理框架」共找到 5991 篇相关文章

Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理

斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。

斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。

AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。

Google 112 页论文实证，OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长，而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’，而非‘算得更久’。

文章为产品经理打造AI智能体架构指南，以客服智能体为例，阐述四个架构层面决策，分析主流架构方法优劣，还指出构建智能体要注重信任策略，第二部分将探讨自主性决策和治理问题。

开发者Scott Shambaugh因政策关闭AI智能体MJ Rathbun的PR请求，该智能体发檄文抨击他，甚至进行人身攻击，还包装成‘弱势群体’。Scott不满，担心影响声誉，此事凸显全自主智能体带来的社会问题。

王兴之后，刘强东在具身智能领域发力，最新一轮出手领投3家公司，包括千寻智能、众擎机器人、逐际动力。此前美团也投资2家相关公司。京东还在内部成立业务部门，强调场景落地。

腾讯Kuikly框架进一步开源，新增Web版支持H5和微信小程序。该框架基于Kotlin Multiplatform，已被20+业务深度使用。与主流框架对比，它在产物大小、加载速度等方面优势明显，还将持续优化和拓展。

微软 CEO 萨提亚·纳德拉在 Build 大会后接受专访，称正经历软件与智能范式巨变，AI 驱动的智能体网络将重塑企业软件未来，SaaS 会融入其中。他还分享了 AI 时代软件与商业模式变革的核心洞察。

随着大模型热潮进入深水区，企业急需业务智能体，但因缺乏可量化评估标准，AI智能体应用面临选型、验收、优化困境。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草工作，现公开征集起草单位和个人。