「概念蒸馏训练策略」共找到 2517 篇相关文章
3B Image Captioning小钢炮重磅来袭，性能比肩Qwen2.5-VL-72B
文章推荐Dense Image Captioning新技术CapRL，它首次将DeepSeek - R1强化学习法用于image captioning，创新定义reward。训练的CapRL - 3B模型性能比肩Qwen2.5 - VL - 72B，解决了reward设计难题，已开源相关内容。
ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！
蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。
Mamba-3惊现AI顶会ICLR 2026！CMU知名华人教授一作首代工作AI圈爆红
Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。
OpenAI和DeepMind大佬离职联手，誓用AI科学家实现室温超导！已融3亿美元
OpenAI后训练负责人和DeepMind的AI4S大佬离职成立Periodic Labs，专注用AI Agent改造科研，攻克室温超导等难题，已获3亿美元融资。团队目标是培养AI科学家，构建自主实验室，还将应用于产业。
哪个大学生能拒绝帮你搞定 Office、编程、设计的全能搭子？
国务院印发意见明确智能应用普及目标，高校也展开AI教育。Agent技术成大学生“新工具箱”，文章介绍其概念、运行方式，还以扣子空间为例展示在学术和校园生活场景的应用，最后公布了相关活动信息。
Shopify 经验贴：如何搞出一个生产级别可用的 AI Agent 系统？
Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。
谁说Scaling Law到头了？新研究：每一步的微小提升会带来指数级增长
很多人质疑扩大计算规模训练模型的做法，因Scaling Law面临收益递减。但新研究发现，模型单步准确率的微小提升能使完成任务长度指数级增长，还探讨了长程执行能力的衡量及影响因素。
奥特曼：点名表扬两个波兰人，OpenAI还没遇到过他们解决不了的问题
奥特曼点名表扬OpenAI两位波兰科学家Jakub Pachocki和Szymon Sidor，他们贡献从Dota项目扩展强化学习到领导GPT - 4预训练。2023内乱中他们追随奥特曼，后帕哥成首席科学家，西哥为独立贡献者。
马斯克xAI自研推理芯片曝光！代号X1、台积电3纳米工艺、明年就量产
马斯克的xAI被曝自研推理芯片X1，用台积电3纳米工艺，2026年三季度量产。此前xAI就为自研芯片招兵买马，还将在西雅图设办事处。此外，特斯拉也在推进自研推理芯片。
Think in Games：做一个在王者荣耀中会玩和思考的Agent
文章介绍论文《Think in Games: Learning to Reason in Games via Reinforcement Learning with Large Language Models》，指出当前AI在游戏领域面临的困境，提出TiG框架结合大语言模型与强化学习，打造既会做又会说的AI，实验验证其高效性。