「知识蒸馏」共找到 590 篇相关文章
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？
近期，AI自我演进话题研究讨论渐热。OpenAI奥特曼畅想AI自我改进未来，有爆料称其内部运行递归式自我改进AI。MIT论文提出SEAL框架让LLM自我更新权重，引发热议，实验显示其有提升但也有局限。
Meta详细阐述基于LLM级训练、混合并行计算与知识迁移的GEM广告模型
Meta发布生成式广告模型GEM详细信息，旨在改善平台广告推荐能力。它处理海量用户 - 广告交互数据，用三种方法构建系统，还实施GPU级优化，采用两种知识迁移策略，获业内人士认可。
AI数据工程师在应用中如何"返璞归真"
文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限，指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁，并介绍MktAI知识体系建设。
离大谱！15k Star book-to-skill，我惊到了！！！
book-to-skill是将书籍、文档目录或多份资料转换成Agent Skill的命令行工具。它把资料拆成可按需加载的知识资产，有按需加载章节等优势，适合将常用知识编译成技能，不过也有一定局限性。
哈萨比斯出的难题，GPT之父接上了：用一个知识停在1930年的模型
GPT之父Alec Radford等用1931年前数据训练13B模型Talkie，切断现代知识污染。研究者测试其能力，探讨它对未来的“预感”、规避污染问题及数据多样性等，同时训练中也面临时间泄漏、数据质量等难题。
Codex自我蒸馏玩法火了！OpenAI员工亲授：复制粘贴就能让AI消灭重复劳动
OpenAI员工Vaibhav Srivastav爆出Codex「自我蒸馏」秘籍，复制提示词就能让它找出重复工作并打包。提示词从初版迭代到2.0版，覆盖更多场景且能直接创建项目。此外还介绍了Codex新功能及Vaibhav的其他玩法。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
开源RAG又添新军！港大开源多模态RAG神器，多文档格式统一解析、知识图谱索引与混合检索！
在AI信息检索领域，传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything，可提供端到端解决方案，能多格式解析、构建知识图谱和混合检索，优势显著。
开源2天狂揽3.3K Star！超火的隐形AI桌面助手，实时捕捉屏幕与音频，生成结构化知识！
GitHub爆火的隐形AI桌面助手Glass，开源2天Star超3.3K。它由Pickle团队开发，能捕捉屏幕和音频活动，转化为结构化信息。适合会议记录等场景，有屏幕活动捕捉等核心能力，提供不同系统安装方式。