「自蒸馏微调」共找到 1410 篇相关文章
1人顶1个Infra团队！OpenAI前CTO新招，让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。
Self-Evolving 会是 2026 关键词吗？
2025年，Agent应用发展使LLM‘静态’局限成AI瓶颈，业界重视自进化能力，聚焦‘持续适应系统’。但该领域缺统一标准，有思潮认为统一标准、集体探索将带来机遇。还介绍了研究进展、重点演变等。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
狂揽4万星！换掉OpenClaw太爽了，5美元就能养个AI打工人
Hermes Agent是NousResearch推出的开源Agent神器，上线后在GitHub超4万星。它运行在用户服务器，有六大核心特性，能跨平台对话。技能自维护，形成记忆 - 技能 - 训练数据闭环，应用场景丰富，演进注重安全、稳定与智能。
从哲库到小米，从造芯之“死”到造芯之生
文章回顾华为、小米、OPPO造芯历程，分析OPPO哲库夭折与小米重启造芯的原因。指出小米重启造芯有财务、组织架构、经验等优势，且赶上制裁“窗口期”，AI时代也需自研芯片。
自我进化Agent综述：通往超级智能的进化之路
当前大型语言模型面对新知识、动态环境时存在固定参数瓶颈，自进化智能体研究应运而生。本论文作为该领域首部系统性综述，提出革命性框架，解析自进化智能体技术脉络与未来挑战。
The Batch: 896 | 教会模型说出真相
大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。
付费Mathpix公式识别不香了~不要钱舒服！
复杂科学文献中公式识别问题重要，但现有模型有局限。DocTron - Formula通过简单微调在多场景达先进水平，还引入CSFormula数据集。它基于Qwen2.5 - VL微调，在多个数据集上效果佳。
黄仁勋人生首条推文力挺开源，“Kimi恐慌”成为风暴眼
当地时间7月24日，英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关，‘开源vs闭源’路线之争因此推向高潮。同时，围绕模型蒸馏是否侵权争议不断。
什么是newtype？
作者黄益贺介绍了自己创建的社群newtype。“newtype”源自高达，指适应新环境、能驾驭AI的人。作者给出定义“想清楚，做出来，为自己活”，还指出其不是被恐惧等驱动的人，目标是数字时代个人主权。