搜索：掩码扩散语言模型

「掩码扩散语言模型」共找到 1311 篇相关文章

【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

近年来，视觉 - 语言模型在2D图像理解有突破，但3D视觉语言模型面对复杂场景不足。为此上海大学团队提出3D - R1模型，它基于新数据集和策略构建，有强多任务三维理解能力，不过也存在进步空间。

Qwen3-LiveTranslate-Flash 是基于大语言模型的多语言实时音视频同传模型，依托 Qwen3-Omni 能力与海量数据，有多语言和方言支持、视觉增强等亮点，性能超主流大模型。

视觉语言模型（VLMs）存在视觉幻觉和语言捷径问题，限制其可靠性和泛化能力。腾讯提出Vision - SR1训练方法，通过推理分解和自我奖励机制，不依赖外部监督，提升模型视觉感知和推理可靠性。

基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。

北大彭宇新团队提出 NS - Diff，将物理约束与强化学习结合，解决视频生成物理失真问题。它通过多模块提升视频物理真实感，实验表明在多数据集上超现有方法，降低物理运动误差。

AI大模型热潮带动算力行业发展，中国AI芯片崛起，但单颗芯片算力不足、不同设备沟通有障碍成行业难题。华为发布“超节点”架构与“灵衢”技术，搞出“算力普通话”，目标是让算力系统更高效、灵活、省钱。

本文探讨如何用大语言模型（LLM）构建虚拟智库。以电商系统架构决策为例，通过让 LLM 扮演不同角色，如 Martin Fowler、David Heinemeier Hansson 等，从多元视角讨论微服务架构利弊，为架构决策提供参考。

尽管大语言模型有进展，但纯自治多智能体系统有局限。为此提出 HILA 框架及双环策略优化机制，结合 DLPO 的 HILA 在基准测试中表现出色，为构建 Agentic 系统提供指导。

大型语言模型下游任务优化依赖强化学习，但计算成本高。伯克利等机构论文提出GEPA新型优化器，将LLM执行轨迹转化为诊断信号，用语言反馈替代标量奖励，仅用传统方法1/35计算量，性能最高提升19%。