搜索：大模型预训练

「大模型预训练」共找到 9489 篇相关文章

模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26

华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

Meta超级实验室MSL新论文探索用强化学习微调大语言模型。提出探索迭代（ExIt）法，基于RL自动课程学习，训练仅需单步任务，模型学会多步自我改进。在MLE - bench上，ExIt相对GRPO提升约22%。

谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。

多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。

AI模型用于工业异常检测获新SOTA，相关论文中稿CVPR 2025。复旦大学、腾讯优图实验室等机构研究人员设计基于扩散模型的少样本异常图像生成新模型DualAnoDiff，实验显示其性能更优。

云栖大会上新6款模型、发布1个全新品牌，覆盖多场景。如Qwen MAX万亿参数大模型能力登顶国际榜单，Qwen3 - Omni实现全模态不降智等，各模型能力升级显著，现已同步上线。

近日，蚂蚁集团知识引擎团队协同高校发布 KAG-Thinker 模型，是 KAG 框架重要迭代。它聚焦复杂推理，建立结构化思考范式，实验显示其性能在多数据集上有提升，还在医疗问答验证了专业领域有效性。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

英伟达推出全球首个开源量子AI模型家族NVIDIA Ising，含校准和纠错模型。它简化对复杂物理系统的理解，为量子纠错和校准提供高性能工具，有望加速量子系统实用化。