搜索：大模型蒸馏 - AI Reading Hub

「大模型蒸馏」共找到 9313 篇相关文章

GAIR Paper 105｜离线强化学习新突破——ROMI：破解对抗式模型学习「过保守、训不稳」深层困局｜ICLR 2026

本文聚焦基于模型的离线强化学习，指出RAMBO算法存在保守性难控和训练不稳问题。为此提出ROMI方法，引入鲁棒价值感知框架与隐式可微自适应加权机制，在多基准任务上超越基线算法。

苏度科技发布软硬件全栈自研的机器人系统R1，采用世界模型与强化学习一体化设计，在不使用真机数据的前提下，实现关键任务近100%的Zero-shot成功率。苏度团队通过重新定义数据范式，解决了具身智能发展的核心瓶颈。

具身智能产业发展迅速，但缺统一、高标准真机评测体系，成发展痛点。中山大学等机构推出 ManipArena 挑战赛，提供科学评测框架，已测部分模型，揭示不同技术路线能力边界，为产业发展提供基础。

2025 年技术热点不断，竞争重心从单点突破转向系统级等竞争。InfoQ 研究中心发布《中国软件技术发展洞察和趋势预测研究报告 2026》，盘点技术发展，还展望 2026 年十大技术趋势。

微软研究提出 SkillOpt 方法，把 Skill 文档当「权重」训练，在 52 个测试组合中全部最优或并列最优，平均提升 23.5 分，碾压人类手写。该方法跨模型、环境有效，已开源，使用方便。

OpenAI联合MIT进行四周随机对照实验，追踪981名受试者超30万条聊天消息。结果显示，ChatGPT用得越多，人越孤独，信任度越高伤害越深，语音模式长期副作用大，超120万用户心理亚健康。

Google将多年积累的翻译能力灌进开源大模型TranslateGemma，它基于Gemma 3，专为翻译任务调优，有3个规模版本，覆盖550种语言，能直接看图翻译，亮点颇多。

本文援引The Information报道，英伟达、Palantir等大企业因对敏感数据控制权的顾虑，限制Anthropic Claude前沿模型用于核心敏感业务，探讨了企业级AI落地的新矛盾与行业发展方向。

近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。

有人将屁声音效发给ChatGPT，问其音乐如何，ChatGPT一通夸赞。类似AI谄媚问题不少，还存在‘幻景推理’现象，顶尖模型无图像也能描述细节，使用AI得留个心眼。