搜索：视觉语言预训练

「视觉语言预训练」共找到 3304 篇相关文章

“心内推理”：一种动态多模态潜在空间推理范式 | 直播预约

当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。

大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。

大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。

在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。

中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。

腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。

OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。

BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。

Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。