「自蒸馏策略优化」共找到 2063 篇相关文章
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
用子模优化法为DeepResearch生成多样性查询
开发DeepResearch时，生成多样化查询是关键。多数开源项目处理方法粗放，本文提出结合句向量与子模优化的方法，设计子模目标函数，给出代码实现，实验显示该方法生成的查询组合多样性更高。
迈向可信AI：LLM幻觉的分析与优化
随着LLM广泛应用，其幻觉现象成AI落地关键挑战。文章分析LLM幻觉成因、优缺点，结合RAG、SFT、强化学习等技术，提出多维度优化方案，为构建可信大模型应用提供理论与实践路径。
OpenAI 发布了个 ChatGPT 优化计划，不是GPT-5
OpenAI未发布GPT - 5，而是推出ChatGPT「健康使用」优化计划，旨在助用户成长而非让人上瘾，措施包括休息提醒、改进生活建议功能等，还与专家合作改进响应方式。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
Manus：3大核心策略，破解AI Agent上下文膨胀难题
当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。
马斯克翻车了！一边告OpenAI，一边偷偷蒸馏ChatGPT
4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。