「推理架构」共找到 3525 篇相关文章
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
腾讯AI Lab 提出解耦推理新框架，破解IMO 数学难题
腾讯AI Lab梁振文和宋林峰提出“解耦推理与证明”框架，解决当前大语言模型在自动化定理证明领域“思考”与“证明”能力失衡问题，成功解决5道IMO难题并开源成果。
当模型成为公共基础设施，特赞如何架构企业级 Agentic AI？
当大模型成公共基础设施，企业需构建围绕业务结构的智能系统架构。特赞提出的 GEA 企业级智能体架构体系，围绕企业业务运行结构设计，能让智能体参与企业经营判断。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。
用系统架构思维，告别“意大利面条式”系统提示词
本文作者分享编写系统级提示词经历，指出‘规则清单式’设计有规则打架、维护难、价值稀释问题。引入系统架构思维，构建四层设计框架，给出编译原则与模板，还重构‘AI编程助手’提示词，实现从‘规则管理者’到‘系统设计师’转变。
强化学习新发现：无需数学样本，仅游戏训练AI推理大增
莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。
极客大神构建了LLM架构画廊，AI大神Karpathy点赞
极客大神Sebastian Raschka构建LLM Architecture Gallery，将复杂模型结构化繁为简，引发技术圈讨论，AI大神Karpathy点赞。画廊高度视觉化、互动性强，展示模型架构图及核心参数，源数据开源。
103K「硬核」题，让大模型突破数学推理瓶颈
现有大语言模型在数学推理训练时面临数据瓶颈，腾讯AI Lab与上海交大团队推出DeepMath - 103K数据集。它规模大、难度高、数据新颖、严格去污染，让DeepMath系列模型达SOTA，还能实现推理泛化。
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
比思维链准43%！逻辑脑+大模型直觉，推理可靠性大幅提升
中德研究团队发布成果，给大模型外挂「逻辑脑」，结合答案集编程与LLM，构建神经 - 符号框架，提升空间推理准确率，让AI能说清逻辑、跨任务迁移，迈向更可靠的通用推理。