搜索：混合推理模式

「混合推理模式」共找到 2977 篇相关文章

The Batch: 948 | GLM 5.1：面向长时任务的能力提升

Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。

大型语言模型解决复杂问题有推理过程和答案，传统评估只看最终答案。论文提出最终答案可能不佳，中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机，提出‘分步检查法’提升模型表现，实验表明准确率最高提升13%等。

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。

作者团队经历从提示词工程到流程编排模式各阶段，现设计架构升级，选用层级指挥模式的React框架，实现单智能体对工具调用的反思规划，后续还将迭代实现多智能体协作，同时提及技术选型、系统架构等内容。

语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。

在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。

27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。

本文分享作业帮2025年Flink on k8s的探索与实践，包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题，阐述选型Flink K8s Operator模式的原因，还提及任务状态观测、环境资源成本等，分析核心问题并给出解决方案。

近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。

文章介绍实现支持不同精度的 GEMM 算子，解析精度转换技术细节，还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel，包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等，最后完成精度验证。