「投机解码」共找到 111 篇相关文章
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
未来已来：a16z 描绘Agent时代的开发者工作流（内含 9 大关键模式）
知名风投机构 a16z 发布 Insight，认为开发者将 AI 作为构建软件新基石，传统开发范式因 AI Agent 参与而变革。其识别出九个新兴开发者模式，预示 AI 时代开发工作新图景。
5亿买一个域名，这个币圈狠人，想让你60秒拥有自己的AI贾维斯
币圈狠人Kris Marszalek豪掷7000万美元购入AI.com域名，打破人类域名交易纪录。他坚信这是通往AGI的入场券，想借此推个人AI智能体，构建去中心化网络，但此举是豪赌还是愚蠢仍未知。
MetaAI解锁Transformer潜意识，仅额外3%计算开销，性能提升最高55%
Meta FAIR研究员François Fleuret提出《The Free Transformer》，对解码器Transformer扩展。它通过引入随机变量，让模型先计划后执行，用约3%计算开销，在编程等任务上性能提升最高达55%。
多模态推理最高加速3.2倍！华为诺亚新算法入选NeurIPS 2025
华为诺亚方舟实验室研究入选NeurIPS 2025，其提出视觉感知投机推理（ViSpec）框架，解决草稿模型处理图像信息效率难题，在不牺牲生成质量下，对主流VLM最高达3.22倍推理加速。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。
AI热点选品：当推荐系统遇上“热点”，我们需要一场变革
文章指出当下推荐系统追踪热点滞后，存在时效、解码、迭代困境。为此启动热点AI选品项目，构建自动化热点响应系统，经多环节处理输出优质候选集，还介绍成果、后续优化方向及AIGC图像生成方案。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。