搜索：多教师知识蒸馏

「多教师知识蒸馏」共找到 616 篇相关文章

ICCV 2025 | 基于时序增强关系敏感知识迁移的弱监督动态场景图生成

北大王选所团队发表论文 TRKT，针对弱监督动态场景图生成任务目标检测质量瓶颈，提出时序增强关系敏感知识迁移方法，含关系敏感知识挖掘和双流融合模块，实验证明能提升场景图生成质量。

文章深度解析LLM Wiki、Obsidian - Wiki和GBrain项目，探讨Agent时代知识的“自组织”与“自进化”。指出传统知识管理有短板，而这些项目通过不同方式解决知识结构化、沉淀和更新问题，各有优劣。

Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。

Semantica是LLM、向量库与Agent框架下的语义/上下文层，能把碎片化企业数据变成结构化、可查询的上下文图与知识图谱。介绍了其面向对象、功能、优势、使用方法、架构等内容。

MemoryMesh是专为AI模型设计的知识图谱服务器，适用于多种结构化数据场景。它有动态模式驱动工具等特性，可自动生成管理工具，还配备记忆查看器，提供安装指南和提示词建议。

Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。

据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。

大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。

GitNexus 是在浏览器运行的客户端代码智能工具，能将代码库转化为知识图谱，内置 RAG 智能代理。有 CLI + MCP 和 Web UI 两种使用方式，支持多种主流语言，还提供详细文档。

基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题，作者提出MDER - DR双阶段框架，在标准测试和特定数据集上性能提升最高66%，还具备多方面优势。