「智能体推理框架」共找到 6095 篇相关文章
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
图解Vllm V1系列4：加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入，详细分析DefaultModelLoader的工作步骤，包括初始化模型架构和实际加载权重，还给出各步骤代码及作用，为想操作load_model的人提供框架。
新赋能•创生态 | 首钢园“产业跃升计划”发布会举办
在数字浪潮下，新质生产力成核心变量。5月28日，首钢园“产业跃升计划”发布会召开。其正构建“1+3+X”产业体系，园区已聚800余家科创企业。会上多位专家分享，还签约伙伴构建企业全生命周期服务体系。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
什么！我把SQL编辑器装进了大模型？
文章介绍基于约束解码技术，结合CFG、Jinja模板和XGrammar框架，为大模型SQL生成配备“编辑器”。它能保证语法正确、遵循规则，还具灵活性。但面临约束干扰和性能瓶颈，未来可简化配置惠及更多用户。
V0 模型直接进驻 Cursor，UI 生成效果炸裂，氛围编码体验再升级。
AI 编码赛道竞争激烈，Vercel 的 V0 发布 AI 模型，可在 Cursor 中使用，还推出新工作流提升 UI 生成效果。文中介绍了 V0 特点、Cursor 设置方法及使用演示，还分析了 Vercel 自研模型的原因。
三金，又是中国队！全球机器人视触融合挑战赛揭榜
ManiSkill - ViTac 2025视触觉融合挑战赛揭榜，全球42支团队参赛，中国两家具身初创公司包揽三金。该赛事聚焦视触觉融合技术，为机器人行业搭建从实验室到现实应用的桥梁，推动相关算法和硬件进步。
「AI黑客」来袭，Agentic AI如何成为新守护者？
AI 发展带来网络安全新威胁，如生成式 AI 诈骗、深度伪造等。业内共识是以 AI 对抗 AI，有模型防护、行业应用、政府协作三类尝试。青藤云安全推出全栈式安全智能体「无相」，革新安全思维。
大模型下半场，阶跃凭什么领跑多模态之战
国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。