「视觉-语言生成」共找到 3485 篇相关文章
「神经软件」正在到来,人类代码将失去意义!
Lambda Labs CEO Stephen Balaban 在英伟达 GTC 2025 提出神经软件概念,指不再写代码,让大语言模型成软件。它没传统软件的 bug 问题,未来计算机或端到端神经化,虽有争议,但变革在加速。
通用的dLLM开发框架,让BERT掌握扩散式对话
扩散式语言模型(DLM)因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架,让BERT学会对话,证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力,还开源全流程代码。
推理效率狂飙60倍:DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法,可将扩散大语言模型推理加速 60 倍,超越传统 GPT 模型。该方法实现推理效率与效果双提升,为大语言模型落地提供新方案。
文生图进入R1时代:港中文MMLab发布T2I-R1,让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法,解决生成评估难题,为多模态生成提供新范式。
苹果出手!改进GRPO,让dLLM也能高效强化学习
苹果研究团队针对扩散语言模型(dLLM)在编码任务中表现不明的问题,基于7B级代码生成MDM DiffuCoder展开研究,定制优化GRPO提出coupled - GRPO算法,填补开源dLLM训练和推理机制空白。
无VAE扩散模型! 清华&可灵团队「撞车」谢赛宁团队「RAE」
清华大学智能视觉团队和快手可灵团队联合推出《Latent Diffusion Model without Variational Autoencoder》,提出 SVG 框架,用预训练视觉特征编码器替代传统 VAE,解决了传统「VAE + Diffusion」范式的效率与通用性痛点。
以小博大,仅1.7B媲美gemini2.5-pro,达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器,把布局检测和内容识别统一在视觉语言模型中,虽LLM仅1.7B参数,却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
DeepSeek多模态新范式:一张图压缩7056倍,思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考,弥合语言与视觉指代鸿沟。它构建紧凑模型架构,信息压缩率达7056倍,训练分三阶段,测试中表现出色,也存在局限。
DeepMind率先提出CoF:视频模型有自己的思维链
DeepMind在Veo 3论文中提出帧链CoF概念,类比语言模型CoT,让视频模型能时空推理。实验显示Veo 3有通用视觉理解能力,能零样本解决视觉任务,未来通用视频模型或取代专用模型。
小鹏加速冲向L4终局:对VLA架构「动刀」成关键一环
在辅助驾驶领域,端到端的VLA方法虽有效果,但面临中间层语言难以准确表达物理世界细节的问题。小鹏汽车去掉“语言转译”环节,推出第二代VLA,有跨代级驾驶体验,背后是底层技术架构重构。