「多源知识蒸馏」共找到 608 篇相关文章
强化学习大本营新作：如何破解「学新忘旧」困局
阿尔伯塔大学强化学习团队提出FAME框架，解决持续强化学习“学新忘旧”问题。团队先定义基础概念，将知识整合写成优化问题，再受人类学习机制启发设计FAME，实验优势明显。研究还探讨持续学习的产业价值。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
DeepSeek深夜炸场，开源了一个新项目&论文，V4打前站？
凌晨，DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力，在多方面实验表现出色，如推理任务增幅大于知识任务，还分析了其机理和系统效率。
首个地球科学智能体Earth-Agent来了，解锁地球观测数据分析新范式
上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。
从“云原生”到“智能原生”，AI中间件走到哪一步了？
InfoQ直播栏目邀蚂蚁集团专家探讨AI中间件基建，指出其核心价值，如降低开发门槛等。还谈及云原生到智能原生的转变、记忆服务定位、自研必要性等，分析未来挑战与方向，10月上海QCon大会将聚焦相关话题。
Code2Video：全新AI教学视频生成框架，助力高质量教学
生成式模型在生成专业教育视频时受限，新加坡国立大学Show Lab提出Code2Video框架，以代码为中心，由三个协作智能体组成，能通过Python代码自动生成高质量教育视频，代码驱动生成优势明显。
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
对话RoboScience邵林：VLOA大模型如何突破具身智能泛化瓶颈
本文对话RoboScience联合创始人邵林，探讨VLOA大模型突破具身智能泛化瓶颈。他介绍了模型优势、设计思路，对比VLA，还谈及范式、难点及落地场景等，强调以人中心、做有温度技术，重视模型落地。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
KAG-Thinker：「结构化」思考新范式，支持逻辑严谨的大模型复杂推理
近日，蚂蚁集团知识引擎团队协同高校发布 KAG-Thinker 模型，是 KAG 框架重要迭代。它聚焦复杂推理，建立结构化思考范式，实验显示其性能在多数据集上有提升，还在医疗问答验证了专业领域有效性。