「蒸馏工厂」共找到 219 篇相关文章
“现在的AI就像1880年的笨重工厂！”微软CSO斯坦福泼冷水：别急着造神
微软首席科学官 Eric Horvitz 在斯坦福商学院演讲，称当下 AI 如 1880 年代刚用电的工厂，底层大模型与商业未契合。他指出模型概率校准不足、医疗 AI 难移植等问题，还谈及人类与 AI 协作及内容溯源等。
Skill Factory：三天手搓面向Harness设计的技能工厂（附AI coding实践）
作者分享从产品设计到算法落地全流程实践，指出当前做skill两种方式的问题，介绍面向Harness设计的技能工厂，包括生产模式、生态适配、迭代方向，还提及AI coding实践及各工具作用。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
马斯克狂砸16亿「买」他5年！揭秘特斯拉2号人物，那个睡工厂的狠人
特斯拉授予全球汽车业务高级副总裁朱晓彤超52万份股票期权，价值2.33亿美元，需坚守5年完成KPI。他出身非典型，从建设充电网络到拯救特斯拉上海工厂，后成全球二号人物，还将助力Optimus量产。
AI Infra进入自进化时代！清华团队用「AI优化AI」造就国产万亿Token工厂
AI自主优化RSI成新焦点，被视为通往AGI的关键路径。硅谷为此沸腾，中国也不落后。清昴智能由清华团队创立，率先打造自进化算力底座，还基于国产算力打造万亿Token工厂，目标是让优化成为持续运行的基础能力。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。