「推理加速技术」共找到 4890 篇相关文章
MiniCPM-o 4.5 技术报告发布：全双工全模态 API 开放，RTX5070 即可实时运行
面壁智能等发布 MiniCPM-o 4.5 技术报告，开放全双工全模态 API。该模型 9B 参数，RTX5070 可实时运行，下载量超 25 万。报告披露 Omni - Flow 框架，模型性能强，还能催生新应用。
字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限
强化学习虽提升大语言模型表现，但面临探索难题。字节跳动等团队提出FR3E框架，分两阶段重建探索机制，在多数学推理基准实验中显著优于强基线，为大模型强化学习提供新范式。
算力成本大降！马尔可夫思考机来了，LLM推理成本直接降为线性
用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。
MiniMax深夜开源首个推理模型M1，这次是真的卷到DeepSeek了。
MiniMax深夜开源首个推理模型M1，其上下文能力媲美Gemini 2.5 Pro。M1在部分评测中表现中规中矩，但在MRCR（4 - needle）测试中屠榜。它得益于MiniMax - 01基座模型，应用Lightning Attention机制，开源了40K和80K两个版本。
15岁进少年班，97后打造「元点机器人宇宙」：全栈技术自研领跑家庭机器人赛道
元点Zeroth发布全尺寸人形Jupiter和异构机械臂家庭协作机器人N1，强调与人类长期共生关系。其创始人是97年的郭人杰，公司已累计融10亿。元点有全栈技术体系，走渐进式落地路线。
MiniCPM-o 4.5 技术报告发布：全双工全模态 API 开放，RTX5070即可实时运行
面壁智能联合多机构发布 MiniCPM-o 4.5 技术报告，公开 Omni-Flow 框架。该模型 9B 参数实现端到端全双工全模态，开放在线 Demo、API 等，最低 12GB 显存 GPU 可运行，在多维度评测表现出色。
北大字节开源首个时空推理视频模型！思考过程全透明，性能超越GPT-4o
北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。
全模态RAG突破文本局限，港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。