「推理延迟」共找到 2196 篇相关文章
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。
扒一扒Meta全新大模型Muse Spark里藏着的PDR技术
Meta发布闭源大模型Muse Spark及‘沉思模式’，背后藏PDR推理技术。该技术通过‘并行起草+精炼’突破性能瓶颈，对比传统长CoT范式优势明显，在AIME竞赛题目测试中准确率显著提升。
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
一百万亿Token里的AI现状：OpenRouter和a16z重磅研究带你透视AI江湖
OpenRouter和a16z发布重磅研究，用100万亿Token绘制AI实景地图。2025年推理模型崛起，开源模型流量份额攀升，编程与角色扮演需求大，还揭示了用户留存的“灰姑娘效应”等，展现多元AI世界。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
一天两枚“代码核弹”：OpenAI 祭出首个“主打实时协作”的 Codex 模型，谷歌放出 Gemini Deep Think，码力冲到世界前8
OpenAI 发布 GPT - 5.3 - Codex - Spark 研究预览版，专为实时编码设计，降低交互延迟。谷歌更新 Gemini 3 Deep Think，面向科研与工程难题，在多领域测试表现出色，二者引发网友热议。
评论送书 | Al智能体与传统AI应用的区别？它如何工作？如何快速构建智能体？
文章对比AI智能体与传统AI应用，指出前者更像“乐高积木”，可融入生活工作。介绍其工作是“感知—推理—执行—学习”循环，还给出快速构建通用方法，如明确目标、选框架等。
图谱检索全面 or 效率？蚂蚁&浙大Deep GraphRAG：全都要
传统 RAG 遇复杂 Query 易失效，GraphRAG 带来新三难。蚂蚁与浙大提出 Deep GraphRAG，有层次化检索、Beam - Search 重排、DW - GRPO 强化学习三板斧，实验显示其性能优、延迟低。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
华为版《黑客帝国》首次亮相：训推复杂AI前先“彩排”，小时级预演万卡集群
华为首次亮相数字化风洞虚拟环境平台，可在训推复杂AI模型前“彩排”，小时级预演万卡集群。其包含Sim2Train、Sim2Infer、Sim2Availability，分别解决训练、推理、高可用问题。