「概念蒸馏训练策略」共找到 2518 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
AI操作有了“紧急刹车”！通义&自动化所AI决策诊断模型，GUI智能体纠错正确率SOTA
阿里通义实验室与中科院自动化所推出GUI - Critic - R1模型，能在GUI智能体操作执行前诊断决策，避免错误。介绍了其动机、方法、数据集及实验，证明该模型在生成判断和提建议方面有效。
103K「硬核」题，让大模型突破数学推理瓶颈
现有大语言模型在数学推理训练时面临数据瓶颈，腾讯AI Lab与上海交大团队推出DeepMath - 103K数据集。它规模大、难度高、数据新颖、严格去污染，让DeepMath系列模型达SOTA，还能实现推理泛化。
刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿
OpenAI前安全副总裁Lilian Weng疑似曝光90亿估值新公司Thinking Machines首个产品——手动调参仪表盘，训练中可手动调超参数。OpenAI也有AI硬件野心，设想让ChatGPT成全能硬件助手。
微软Build 2025大会Day 1：All in「智能体网络」，全面推动MCP
北京时间昨夜今晨，微软Build 2025开发者大会Day 1开场，CEO萨提亚·纳德拉透露“智能体网络”概念。大会展示微软在开发者工具、办公中枢、云平台等多方面进展，还宣布Microsoft Discovery平台加速科学突破。
「边思考、边搜索、边写作」WebThinker开启AI搜索&研究新纪元！
大型推理模型有推理能力，但静态知识限制其在复杂任务表现。WebThinker 让 LRM 推理中自主搜索、导航及写报告，集成探索器，有自主策略和训练工具，实验显示性能强，还指明未来探索方向。
强化学习大本营新作：如何破解「学新忘旧」困局
阿尔伯塔大学强化学习团队提出FAME框架，解决持续强化学习“学新忘旧”问题。团队先定义基础概念，将知识整合写成优化问题，再受人类学习机制启发设计FAME，实验优势明显。研究还探讨持续学习的产业价值。
越靠经验思考的岗位，越先被取代！OpenHex董舒：AI数字员工正在催生OPC一人公司
OpenHex董舒认为AI最大价值是替人出面干活，提出数字员工概念。他指出判断力密度高的岗位易被AI取代，中国服务业有发展机会。还辨析数字员工类型，介绍其平台OPS Agent，最后分享了数字员工相关Q&A。
The Batch: 969 | 谷歌的机器人模型有了腿
谷歌发布 Gemini Robotics 2（GR2），能将相机图像和文字指令转为机器人关节控制命令，可同时控制人形机器人腿、躯干、手臂和手部，简化模型训练和设计，不过谷歌未公布其基础模型等信息。
ECCV 2026 | 一段视频，重建一个可仿真的动态世界
机器人走出实验室后，训练数据需覆盖真实世界情况。OVOW由多团队完成，被ECCV 2026接收。它从单目视频出发，输出可编辑、可碰撞的实例级Mesh，串联视觉基础模型完成流水线工作，能用于物理仿真。