搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2515 篇相关文章

经典之作！Agent无需奖励也能学习：通过“早期经验”的Agent Learning

该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。

Meta FAIR推出全球首个代码世界模型CWM，它能生成代码、理解语义，还‘懂得’代码执行，能模拟运行过程。在多个代码与推理任务表现出色，开源代码、训练细节等，不过目前仅支持Python。

文章介绍企业级消息系统构建，阐述概念、价值、典型场景，对比主流开源系统如 Kafka、Pulsar 等。通过腾讯、华为等企业实践展示选型与优化，还提及运维保障，指出未来消息系统在 AI 领域机遇与挑战。

9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。

为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。

2025年AI投资进入新阶段，大模型竞赛趋理性，AI Agent等赛道加速发展，投资逻辑重构。甲子引力X圆桌对话中，六位投资人分享投资逻辑调整、新投企业及看法，探讨具身智能、物理AI落地等问题。

LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。

在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。

2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。

英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。