「不可压缩知识探针」共找到 741 篇相关文章
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理？
为研究Transformer是否具备组合式推理能力，提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力，训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制，展示其泛化推理潜力。
多模态大模型，真的「懂」世界吗？——揭秘 MLLM 的核心知识缺陷
ICML 2025高分论文揭示MLLM核心认知盲区。研究发现主流MLLM缺乏核心认知能力，且不能靠规模扩展自然习得。作者构建测评体系CoreCognition，提出干预测试方法Concept Hacking，还给出关键发现与启示。
AlphaEvolve：陶哲轩背书的知识发现 Agent，AI 正进入自我进化范式
Google今年5月发布的AI系统AlphaEvolve，结合Gemini模型与evaluator，能发现新算法。它源于FunSearch，可多领域应用，运行机制类似自然进化，其关键组件evaluator对其发展很重要，也标志AI进入自我改进范式。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
DeepSeek多模态新范式：一张图压缩7056倍，思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
小扎“超级智能”小组第一位大佬！谷歌DeepMind首席研究员，“压缩即智能”核心人物
最新爆料，谷歌DeepMind首席研究员Jack Rae确认转投Meta，另有消息称Meta还招募了Sesame AI的ML主管。此前小扎还想斥资150亿美元收购Scale AI。小扎为组AGI团队不遗余力，推进速度快。
阿里QwenLong-32B：1W+超长Token推理，知识密集型复杂文档高效推理
文章介绍阿里QwenLong - 32B在长文本推理的能力。长文本推理有训练效率低和优化不稳定问题，QWENLONG - L1通过强化学习等解决，还阐述其组件、训练步骤，并给出实战代码及相关链接。