「Next-Token推理」共找到 2536 篇相关文章
人民想念DeepSeek
文章探讨AI时代Token相关问题。指出其消耗大、价格贵，存储价格上涨使Token降价缺杠杆，虽模型能力提升、MFU优化可降本，但传导到C端取决于商业考量。还回顾大模型价格战，介绍本地部署及芯片创新方案。
腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题
腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
构建会“说话”和“行动”的 AI：生成式数字人技术与 EchoMimic 实践
在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
VoxCPM2：无tokenizer语音合成，高保真声音克隆
VoxCPM2突破传统TTS系统局限，直接操作连续声学特征，保留音色纹理更完整。基于扩散自回归架构，有硬核技术指标，提供三种克隆模式，性能佳，生态完善，微调便捷，但也存在安全风险。
Gemini负责人爆料！多模态统一token表示，视觉至关重要
Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。