「蒸馏方案」共找到 1007 篇相关文章
256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV
近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
数据合成篇｜多轮ToolUse数据合成打造更可靠的AI导购助手
文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。
CVPR 2025 | 如何稳定且高效地生成个性化的多人图像？ID-Patch带来新解法
本文围绕个性化多人图像生成展开，指出其面临身份特征泄露等挑战。介绍了早期方法的不足，提出全新的ID-Patch方案，阐述其设计思路、实验效果等，还探讨了提升空间与未来方向，该方案在多人物图像生成中有突破式提升。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
中国AI高速路，华为给出开源开放方案
上周华为全联接大会展示系列创新。超节点架构带动的开源开放意义深远，开放硬件、开源软件和灵衢组件。华为发布系列超节点新品，实现全场景覆盖，同时全面开放开源，推动产业协同与生态繁荣。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。
天下苦CUDA久矣，又一国产方案上桌了
AI开发中，国产硬件增多，但开发者仍依赖进口生态。KernelCAT作为国产AI Agent应运而生，它能开发高性能算子，在昇腾芯片测试中表现出色，还能助力模型在国产平台高效迁移，限时免费内测。
Databricks开源限流方案，抛弃redis，性能提升10倍
Databricks 开源高性能限流系统设计，抛弃 Redis，通过内存分片和批量上报机制，实现 10 倍性能提升。还将限流算法改为令牌桶，解决了精度控制、在线迁移等问题，权衡了分布式一致性。