「推测解码」共找到 116 篇相关文章
JustGRPO:扩散语言模型的极简主义回归
本文提出回归极简的方法 JustGRPO,在 RL 阶段让模型自回归生成,用标准 GRPO 训练,能超越各类针对 dLLM 设计的 RL 算法表现,提升推理表现同时保留并行解码能力。
4.3亿听障人士的福音,哥大团队研发脑控助听器,最高增益12分贝
哥伦比亚大学等机构团队研发实时闭环脑控听力系统,发表于Nature Neuroscience。该系统解码大脑注意力信号,放大目标人声、压制杂音,打破传统助听器瓶颈。经多项测试,效果显著,临床应用潜力大。
现实版“盗梦空间”?欧洲极客论文全网爆火,一战戳破三大巨头安全神话,35万机密在公网裸奔
欧洲两位安全研究员的论文《从专有 LLM API 中窃取推理轨迹》爆火。他们揭示 OpenAI、Anthropic 和 Google 用的“无状态架构”有漏洞,能利用小模型解码大模型推理轨迹,导致隐私泄露等风险。
别再用单选评测骗自己了!Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差,如选择、数量、猜测偏差。还推出SATA - Bench评测,给出10个测量指标,提出Choice Funnel解码策略,能提升小模型多选题正确率。
刚刚,何恺明团队新作,「嵌入式语言流」ELF来了
何恺明团队提出ELF模型,将扩散过程置于连续向量空间,只在最后翻译成词。它用一个网络实现去噪和解码,引入自条件机制。实验显示,ELF用不到其他方法十分之一数据,生成质量全面领先。
VLA 推理新范式!一致性模型 CEED-VLA 实现四倍加速!
近年来,VLA模型成机器人领域重要研究方向,但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略,在多基线模型上实现超4倍推理加速,实验验证其高效通用。
Bug变奖励:AI的小失误,揭开创造力真相!
最新研究发现,AI的「创造力」并非额外能力,而是架构副作用。扩散模型本应是复制机器,却画出奇怪图像。研究者基于规则构建数学系统,证明了这一观点,还推测人类灵感或许同理。
马斯克说今年编程就要死了,你信吗?
近期一条推文称马斯克预言编程今年将消亡,引发热议。但实际是作者二次创作,马斯克只是即兴推测年底或不用写代码。‘AI 直接生成二进制’有跨平台、可审查、可靠性三个问题,编程更可能走向‘AI写、人审’。
刚刚!Meta把大模型塞进脑机接口,隔空读脑直逼开颅植入水平,代码全开源
Meta推出Brain2Qwerty v2,号称性能最强端到端方案,能基于非侵入式脑部记录实现实时句子级解码,准确率逼近开颅手术水平。还开源代码,公开数据集,旨在帮脑损伤患者交流。
大模型最后一层竟是推理累赘?绕开对齐税,奥数准确率暴涨 22.4%!
Qwen团队等最新研究打破传统认知,揭示‘对齐税’现象。提出置信解码策略,在多架构、评测集上表现出色,能绕过‘对齐税’,提升推理准确率,且工程开销低,为大模型发展提供新思路。