「低延迟推理」共找到 2933 篇相关文章
达摩院推出多智能体框架ReasonMed，打造医学推理数据生成新范式
在人工智能领域，推理语言模型在医学场景应用存在挑战，达摩院推出多智能体框架ReasonMed，提出医学推理数据生成新范式，开源百万级高质量数据集ReasonMed370K，验证了‘小模型 + 高质量数据’的潜力。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
思维链推理是一种脆弱的‘海市蜃楼’，一旦超出训练分布，它便会消失。| 直播预约
思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。
谷歌一篇论文引爆存储芯片崩盘！AI内存需求暴降6倍，推理狂飙8倍
谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
清华&通院推出"绝对零"训练法，零外部数据大模型自我博弈解锁推理能力
清华、北通院和宾州州立大学研究人员提出“绝对零”训练法，让大模型通过自我博弈生成并解决任务获推理能力。测试显示，其训练出的模型超专家标注样本训练的模型，且能提升编程与数学推理表现。
我如何用低代码平台复刻NotebookLM体验：从文档到可控PPT生成，全流程实战。
本文作者用低代码平台BISHENG复刻NotebookLM的PPT生成功能。介绍了技术栈，详述工作流搭建，包括文档上传、问答、PPT生成等，还提及HITL机制提升成功率，最后总结了低代码平台的优势与不足。