「自蒸馏微调」共找到 1405 篇相关文章
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
一个CLAUDE.md霸榜GitHub第一！蒸馏自Karpathy，6万码农抄作业
一个名为CLAUDE.md的Markdown配置文件冲爆GitHub，本周新增44,465颗星，总星数61.6k，连续三天Trending日榜第一。它源自Karpathy对LLM编程陷阱的观察，含四条规矩，能约束AI编程Agent。
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
OpenAI也缺卡！僧多粥少，自曝内部抢卡抢到发疯
OpenAI正面临绝对的算力稀缺，总裁Greg Brockman自曝内部算力资源争夺严重。算力是创新根本驱动力，因资源有限，许多产品无法发布，如ChatGPT Pulse部分功能仅对Pro用户开放。OpenAI有资源分配机制，但平衡各团队需求不易。
刚刚，Ilya Sutskever宣布自任CEO：联创被Meta挖走了
周五凌晨，OpenAI 联合创始人 Ilya Sutskever 宣布自任 Safe Superintelligence（SSI）首席执行官，原 CEO Daniel Gross 已退出。此前有 Meta 欲收购 SSI 的传闻，Gross 或转去 Meta 负责人工智能产品。
Transformer亲爹痛斥：当前AI陷死胡同，微调纯属浪费时间！
Sakana AI创始人Llion Jones是Transformer发明者之一，他警告当前Transformer虽成功，但业界或重蹈RNN覆辙，无数微调是浪费时间。他认为现在LLM非通用智能，已转向探索生物学启发的新架构。
苹果AI自研不动，库克外包给谷歌Gemini了
今天凌晨，苹果与谷歌官宣达成深度合作协议，基于Gemini模型和谷歌云技术构建下一代苹果基础模型，成果之一是今年内上线“更个性化的Siri”。此前苹果自研AI推进不顺，人才流失严重。