搜索：分层推理模型

「分层推理模型」共找到 8160 篇相关文章

年度AI论文！全球三大顶尖模型的防蒸馏机制全面告破：小模型“套出”大模型隐藏思维链，Kimi-K3重现概率异常

这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。

文章聚焦昇腾 NPU 大模型推理，对比 MindIE 和 vLLM Ascend 推理性能。因 MindIE 使用门槛高，昇腾联合 vLLM 社区推出插件。实验用 GPUStack 平台，结果显示二者在不同场景各有优势，呼吁构建国产 AI 基础设施体系。

Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。

伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。

新研究量化推理模型时代提供更优答案的环境成本，研究人员估算14个开源权重的大模型碳排放，发现推理与排放存在权衡关系，还指出战略性部署可降低排放。

当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。

专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。

阿里开源首个深度研究Agent模型通义DeepResearch，在多权威评测集上超越多个Agent模型。它采用多阶段数据策略，有两种推理模式，革新训练流程，已赋能高德出行Agent和通义法睿等应用，且模型等均已开源。

OPPO个性化AI实验室团队推出智能体推理范式CoA及模型AFM，解决传统多智能体系统通信效率低等问题。AFM在近20项测试中刷新记录，降低推理成本，还介绍了架构、数据构建等，也指出待探索方向。