搜索：大模型预训练

「大模型预训练」共找到 9479 篇相关文章

哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理

哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。

北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构，基于全离散、自回归机制建模多模态信号，后训练引入世界模型。它刷新多项基准纪录，在真机操控和自动驾驶有潜力，为多模态感知决策融合带来新思路。

国产开源大模型迎来爆发，快手、月之暗面、美团、面壁智能、腾讯等接连发布新模型，如快手Keye-VL - 1.5 - 8B刷新视频理解SOTA，美团LongCat - Flash - Chat推理快成本低等。

OpenAI发布新开源模型gpt-oss-120b，时隔6年再推开源权重语言模型，给LLM开源生态增添变数。作者实测它在三大场景的表现，并与GLM-4.5-Air对比，认为其距开源SOTA有距离。

NVIDIA发布NitroGen模型，利用40000小时带按键显示的游戏视频，构建视觉-动作数据集，训练出能玩超1000款游戏的通用基础模型，在跨游戏泛化和微调任务中表现卓越，为具身智能发展提供新思路。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合书生家族优势，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，技术创新显著，未来将持续开源。

华为发布专为昇腾端侧硬件打造的openPangu Embedded - 1B模型，仅10亿参数却性能卓越。它运用多阶段训练和优化，在权威基准表现亮眼，V1.1平均分较上月跃升超8%，还介绍了背后技术。

在AIGC浪潮中，3D生成模型虽进化快，但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架，能在加速同时保持或提升模型几何质量。

9日WAVE SUMMIT深度学习开发者2025大会上，文心大模型X1.1发布，事实性、指令遵循、智能体能力显著提升，多项测试表现佳。它能做到知识一致，精准遵循指令，智能体解决问题出色，代码、数学、多模态能力也有进化，得益于迭代式混合强化学习训练框架。

7月26日，上海AI实验室在WAIC 2025上发布并开源『书生』科学多模态大模型Intern-S1。它首创‘跨模态科学解析引擎’，在多学科专业任务基准上超越顶尖闭源模型，还具备体系化技术创新。未来将持续开源，打造更懂科学的AI助手。