「迭代蒸馏与增强」共找到 879 篇相关文章
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
Claude Code迎来大更新：Agent能力增强
Claude Code 2.1.0正式发布，围绕Agent能力、开发者体验和安全性全面升级。有大量功能新增，如技能与Agent的热重载、上下文分叉等；修复诸多问题，还进行了性能、可靠性等方面的优化。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
Cloudflare 增强robots协议：对“AI白嫖”说不
互联网面临开放内容被利用或封闭内容失读者的困境，AI加剧此局面。Cloudflare持近20%网站流量，先推抓取付费策略，又推“内容信号政策”，升级robots.txt，限制AI训练使用内容。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。
LLM的快速、慢速与工具增强思维模式综述
大型语言模型在不同任务中对推理策略需求差异大，策略选择不当会影响效率与可靠性。本文提出双重知识边界框架，梳理LLMs推理模式，将策略选择形式化，还分析了决策因素及策略选择机制。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。
28.2k+ star，这个终端历史增强神器绝了！
开源君发现开源Shell历史管理工具Atuin，它用Rust编写，将命令结构化存到SQLite数据库，记录丰富上下文信息。兼容主流Shell，有专属搜索UI，功能强大，安装方便，提升命令行历史体验。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。