「概念蒸馏训练策略」共找到 2519 篇相关文章
比Vibe Coding强100倍！字节 Trae 2.0 携“上下文工程”登场：一句话，从需求干到上线！
字节跳动的AI编程助手Trae发布2.0版本，新增SOLO模式，可实现从想法到应用的一站式交付。上下文工程领域热度攀升，该概念因Andrej Karpathy推动而爆火，Trae迭代快，已建立完整能力体系。
内部爆料：Alexandr Wang上任第一把火，Meta大模型闭源
据知情人士，Meta新成立的超级智能实验室正讨论重大决策，高层对AI模型是否开源存分歧。Meta曾因性能问题延迟Llama 4版本，现完成Behemoth训练却因不佳延迟发布，还探讨放弃它开发闭源模型。
大语言模型（LLM）到底是怎么运作的？（配图通俗讲解）
文章先介绍条件概率，指出大语言模型预测下一个单词是条件概率问题，会计算所有可能单词的条件概率选最高的。还提到直接选最高概率会使内容单调，引出温度概念，它能调整概率分布影响抽样结果。
快手高欢深度解读：多模态理解如何成为AIGC视频生成的“幕后功臣”？
2024 年 AIGC 爆发，多模态理解技术支撑 AIGC 原生应用。快手高欢在 AICon 大会分享多模态理解在 AIGC 场景应用，介绍主流 AIGC 产品形态，探讨其背后多模态理解方法、提升能力途径及赋能 AIGC 的方向。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
告别微调时代：拖拽式LLMs实现12000倍加速适配，输入描述，秒级定制LLM，效果、速度全面超越
传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。
南洋理工 | 推出开源版MetaQuery：OpenUni，1.1B参数媲美BLIP3-o-8B
南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。
Tool-Star：赋予大模型结合多工具推理的能力
文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。
超越 GoF：现代 AI 系统实用设计模式
文章指出AI系统需要设计模式，如GoF塑造软件设计，云计算引入新模式，机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式，含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等，并举例说明。