「大型混合推理模型」共找到 2306 篇相关文章
The Batch: 948 | GLM 5.1：面向长时任务的能力提升
Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。
腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题
腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
构建会“说话”和“行动”的 AI：生成式数字人技术与 EchoMimic 实践
在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
CUTLASS 笔记 (2)：混合精度 GEMM kernel
文章介绍实现支持不同精度的 GEMM 算子，解析精度转换技术细节，还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel，包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等，最后完成精度验证。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。