「自蒸馏微调」共找到 1410 篇相关文章
训练加速1.8倍，推理开销降78%！精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架，解决强化微调代价高问题。它精准挑题，预测难度，开销低、动态适应且平衡探索利用，在多任务表现佳，降本增效，有新范式。
不拼参数，拼认知：工业AI的边界与深水区 | 甲子光年
如今AI渗透工业各环节，形成“大小协同”格局，但面临场景复杂、数据孤岛等挑战。西门子凭借深厚积累构建工业体系，其Industrial Copilot等产品落地中国，还自研基础模型突破瓶颈，围绕‘AI for Real’理念布局。
国内PCB迈入高端时代，竞争与筛选开始逐力
自2006年起，中国大陆成全球第一大PCB生产地，长期贸易顺差。但高端领域曾被美日韩台掌控，如今5G与AI推动变革，国内企业正以技术为矛，在高端领域发起集群冲锋，市场规模持续增长。
Karpathy最新脑洞「细菌编程」：优秀的代码应该具备细菌的三大特质
大神Karpathy提出“细菌编程”新概念，代码要有小而精、模块化、自包含且易复制粘贴的特点，让开源社区发展。他还提出过“软件3.0”“氛围编程”等概念，这些脑洞或成未来编程范式信号。
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练（Post-training）技术，介绍其核心价值，从微调、强化学习、测试时拓展三方面展开，分析现有技术瓶颈，指出前沿研究方向，还给出实践指南和工具链推荐。
刚刚，英伟达拟10亿美元砸向这家AI编码创企！Copilot 技术大佬带队、成立两年估值近千亿
10月30日消息，英伟达拟向AI初创公司Poolside投资最高10亿美元。该公司由微软技术大佬带队，定位生成式AI与软件开发交叉领域，开发自研模型，有独特强化学习方法和技术布局。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
MiniMax 怎么做 Agent：Model-Harness 协同只是第一步，还有 Inference-Harness 协同
本文介绍了 MiniMax 在 Agent 层面的实践。从内部飞书 bot 起步，发展成桌面应用 MiniMax Code，形成训练 - 服务闭环。还阐述 Agent 对模型优化迭代的作用、自研 Agent 优势，指出 AGI 是闭环递归自我改进系统。
中国科技企业出海的6条最新趋势！
作者在美国拉斯维加斯CES展及硅谷调研后，总结了AI和中国科技企业出海的6条趋势，包括Token消耗激增使自研成大势，AI提升消费电子产品溢价，软硬件边界模糊等。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。