「数据蒸馏」共找到 2573 篇相关文章
The Batch: 869 | 编码助手的训练数据
研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
偷数据的AI公司被抓到了
Reddit发现AI公司利用Wayback Machine开放性，绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限，还起诉过违规公司。Reddit抵制该行为，宣布限制Wayback Machine索引其内容。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
The Batch: 879 | 谷歌必须与 AI 竞争对手共享数据
一家联邦法院裁定，谷歌须将当前搜索索引交给美国本土AI及搜索引擎对手，以打破其在网页搜索的垄断，但未采纳拆分公司请求。谷歌按条件共享数据，在其他业务仍可竞争。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
IROS 关键圆桌：到底应该模型驱动，还是数据驱动？
10月20日，美团在IROS大会期间举办学术年会，多位嘉宾围绕具身智能商业化等议题展开探讨。圆桌嘉宾就第一性原理、软硬件体系、模型与数据驱动等话题各抒己见，还谈及机器人最终形态并勉励年轻人。