搜索：视觉语言预训练

「视觉语言预训练」共找到 3299 篇相关文章

GPT-5两周内发布，内测猛料流出？GPT-6或已开始训练，奥特曼剧透百万GPU

有爆料称GPT-5将在两周内发布，是多模型组成的系统，含「路由器」，GPT-6已在训练。奥特曼称年底将增超百万GPU，有人看好GPT-5，也有人认为它可能只是路由器。此外，OpenAI有十名员工拒小扎3亿天价offer。

在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。

港中文、微软等联合推出OpenThinkIMG开源框架，解决AI使用视觉工具面临的集成难、缺数据、适应差等问题，还公开核心技术V - ToolRL。该框架在图表推理任务上表现超GPT - 4.1，为下一代AI智能体提供基础。

Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。

近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。

当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型，Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景，但此举遭用户吐槽。

文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。

上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。

微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。

传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。