「自蒸馏策略优化」共找到 2064 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
本文是 LLM 微调 AutoResearch 落地实战。作者将电商场景 Qwen3 微调流水线沉淀成 Agent 驱动的三阶段框架，还分享踩坑经验。思路方法与平台无关，可类比到外部环境，适合关注 AI Coding 等的同学。
OpenAI：我们正朝着什么方向优化 ChatGPT？
OpenAI 官网文章称，ChatGPT 发展方向是成‘对你有用’的工具，不追逐 DAU 或让用户沉迷。它介绍了有用的使用场景，还提及健康使用方面的改进及与专家合作提升响应能力等内容。
综述：LLM 驱动AI Agent通信协议与策略
文章指出传统互联网用户完成行程繁琐，而代理互联网可让代理自动完成。随着LLM驱动智能体应用深入，其发展专业化，需多智能体协同，有效通信成关键。介绍了智能体通信定义、分类及多种通信协议。
库克不忍了！挥刀优化苹果AI大总管
苹果官宣AI负责人John Giannandrea卸任，其领导下苹果AI团队落后同行，新版Siri推迟发布。同时，苹果从微软挖来Amar Subramanya出任AI副总裁。此外，苹果机器人技术负责人Yilun Chen跳槽特斯拉，军心涣散。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。