「置信解码」共找到 107 篇相关文章
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
Paddle OCR走到了尽头，Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。
去掉像素中介！上海交大让AI边看边想边画，用同一个“大脑”跨模态推理
上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。
速度提升，能力却暴跌？扩散模型做智能体的残酷真相
南洋理工大学陶大程教授团队联合发布评测报告，揭示扩散语言模型在智能体能力上有系统性缺陷，落后自回归模型。还分析其失败原因，提出评测框架，明确能力边界并给出研究建议。
DeepSeek-OCR 2再进化，对图像理解已经像人一样逻辑推理了
DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。
告别 LEB128 的规范性陷阱，Bijou64 用结构设计解决安全问题
研究实验室Ink & Switch发布bijou64可变长度整数编码格式，由Brooklyn Zelenka开发。它消除规范性漏洞，在基准测试中超标准标量LEB128解码器。Hacker News社区对其有权衡讨论，实现已用Rust发布。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
Claude团队打开大模型「脑回路」，开源LLM思维可视化工具来了
Claude团队推出“电路追踪”工具，可生成归因图呈现LLM处理信息路径，支持在主流开源权重模型上快速生成。研究人员能借此解码LLM“决策逻辑”，官方还给出多语言电路等示例。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。