搜索：迭代蒸馏与增强

「迭代蒸馏与增强」共找到 902 篇相关文章

推理时扰动高熵词，增强LLM性能

香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。

互联网面临开放内容被利用或封闭内容失读者的困境，AI加剧此局面。Cloudflare持近20%网站流量，先推抓取付费策略，又推“内容信号政策”，升级robots.txt，限制AI训练使用内容。

作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。

大型语言模型在不同任务中对推理策略需求差异大，策略选择不当会影响效率与可靠性。本文提出双重知识边界框架，梳理LLMs推理模式，将策略选择形式化，还分析了决策因素及策略选择机制。

团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。

开源君发现开源Shell历史管理工具Atuin，它用Rust编写，将命令结构化存到SQLite数据库，记录丰富上下文信息。兼容主流Shell，有专属搜索UI，功能强大，安装方便，提升命令行历史体验。

SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。

全球云数据库巨头Snowflake宣布收购Crunchy Data，发布新型Postgres数据库Snowflake Postgres，满足企业级AI和事务系统需求，具有安全合规等特点，有三大特色功能，推动其成为企业数据负载目的地。

由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。

一个名为CLAUDE.md的Markdown配置文件冲爆GitHub，本周新增44,465颗星，总星数61.6k，连续三天Trending日榜第一。它源自Karpathy对LLM编程陷阱的观察，含四条规矩，能约束AI编程Agent。