「推测解码」共找到 116 篇相关文章
Claude团队打开大模型「脑回路」，开源LLM思维可视化工具来了
Claude团队推出“电路追踪”工具，可生成归因图呈现LLM处理信息路径，支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”，官方还给出多语言电路等示例。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
DeepSeek深夜更新后自曝：我是V4（？！）
DeepSeek网页端深夜大更新，推出「快速模式」和「专家模式」，还有「视觉模型」开启灰度测试。虽官方未说明，但网友推测专家模式可能是V4或V4 Lite，完整版V4或许不远。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
DeepSeek“极你太美”bug，官方回应了
DeepSeek V3.1调用API开发时输出常现“极”字，在火山引擎、腾讯CodeBuddy等多平台出现，影响代码编译。官方称将在近版本修复，网友猜测或因数据清洗不彻底。
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
为什么 AI 喜欢用破折号
文章探讨AI爱用破折号的原因。AI常用“delve”源于非洲导师打分偏好，但破折号并非如此。作者发现这一现象在GPT - 4后凸显，原因或为AI公司用旧书训练，使AI继承旧时代写作风格。
MetaAI解锁Transformer潜意识，仅额外3%计算开销，性能提升最高55%
Meta FAIR研究员François Fleuret提出《The Free Transformer》，对解码器Transformer扩展。它通过引入随机变量，让模型先计划后执行，用约3%计算开销，在编程等任务上性能提升最高达55%。
避免Claude Code 降智的一小招
Claude Code近期表现变差，简单代码逻辑会搞混，调试建议也不对。作者分享小妙招，切回Opus 4.0能让其恢复智商，还介绍三种切换模型方式，并分析了其降智原因。