「推测解码」共找到 116 篇相关文章
智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析
智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。
大语言模型的解耦：人工智能基础设施的下一轮进化
人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
利用大模型检测钓鱼邮件:方法，效果及数据集
随着企业安全防范增强，钓鱼邮件成重要攻击手段，大模型检测方法盛行。日本论文详细披露检测方法和实验数据，含解析解码、简化邮件、生成prompt、调用LLM四步，还介绍数据集及评估了四个模型效果。
小扎万字檄文炮轰硅谷，Meta重磅开源30B小钢炮！一台MacBook就能跑
Meta发布全新30B大模型Muse Glimmer并开源，用4-bit量化等技术让其能在本地设备运行，有五大核心超能力且采用Apache 2.0协议。同时，Meta CEO小扎发表万字檄文暗讽OpenAI等，抨击AI末日论等观点。
新瓶旧酒or涅槃重生？操作系统的 AI 进化终将走向何方？
本文基于「AI 进化论：智算时代 OS 的破局之路」直播实录，解码 AI 时代 OS 破局之道。探讨国内外 OS 的 AI 进化差异、内核价值重构、技术跃迁、算力适配等，还提及未来趋势、Agent 生态挑战及 OS 进化关键。
比SOTA快9倍，谷歌DeepMind时空重建，把视频变成时空搜索引擎
谷歌DeepMind联合团队发布D4RT时空重建框架，颠覆传统视频转3D方法。它按需提问，像搜索引擎，处理动态视频高效。内部结构分编码、解码两步，速度快，还发明聪明收割机算法，在多项测试中表现优异。
NVIDIA 入局量子基础设施：Ising 模型主打自动校准与实时纠错
NVIDIA宣布推出开源NVIDIA Ising模型，解决量子处理器校准和纠错问题。它含校准和解码两组件，速度和准确性优，可本地部署。与传统方法不同，它是与硬件无关的开源模型层，社区反馈有期待也有疑问。
从 IROS 2025谈起，智能机器人何时迎来「GPT式爆发」？ | GAIR Live 019
雷峰网邀请三位嘉宾解码IROS 2025背后具身智能前沿趋势。探讨了IROS现场变化、具身智能认知升级、Sim2Real实用边界、商业落地路径等，还预测具身智能“GPT时刻”或由“World Model+VLA”组合推动。