「向量蒸馏」共找到 219 篇相关文章
π0.7来了！涌现出组合泛化、跨本体迁移能力，VLA又行了？
具身赛道玩家 Physical Intelligence 发布新模型 π 0.7，它展现出组合泛化和跨本体迁移能力，还能通过知识蒸馏学会优化技巧。其强大源于杂数据和细提示，未来有望解决复杂任务。
穷人福音！MIT研究：不用堆显卡，抄顶级模型作业就成
MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。
EMNLP2025 | 解耦视觉与推理，港大探索视觉语言模型"眼智分离"新范式
当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。
用完字节的火山 VikingDB，我都不舍得告诉别人
作者所在团队与字节跳动的VikingDB RAG产品合作研发墨问“知识库”功能。介绍了VikingDB的向量库、知识库和长期记忆库能力，对比传统数据库凸显其优势，还阐述了相关技术推动信息连接变革。
6666！NuerIPS满分论文来了
NuerIPS唯一满分论文结论惊人，指出真正决定推理上限的是基座模型本身而非强化学习，且蒸馏比强化学习更有望实现大模型自我进化，这给正火热的RLVR泼了冷水。
基于 Elasticsearch 创建企业 AI 搜索应用实践
Elastic 中国社区首席布道师刘晓国，分享基于 Elasticsearch 创建企业 AI 搜索应用实践，介绍其向量搜索技术及 RAG 应用开发，还提及智能时代搜索需求变化、混合搜索优势及 Elasticsearch 优化改进等内容。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
阿里Qwen3技术报告核心要点解读！
阿里Qwen3技术报告发布，披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构，预训练数据量和语种增多，后训练采用强到弱蒸馏提升性能，各模型表现优异。
深度｜开源大战全面开打：老黄+小扎 vs 奥特曼+达里奥
黄仁勋注册X账号分享公开信《Open Weights and American AI Leadership》，25家联署方支持开放权重模型，OpenAI、Anthropic、谷歌三家闭源前沿实验室未签署。信中核心论点是开放权重模型让AI成行业基础设施，还涉及蒸馏等敏感政策争论。
6行代码搞定AI Agent记忆！这个16K Star的开源项目打破了传统RAG痛点！
传统RAG方案有上下文断裂、检索不精准等问题，而开源项目Cognee用6行代码就能给AI Agent构建持久化记忆系统。它结合向量搜索和图数据库，形成统一记忆层，支持30+数据源，有多种核心API。