搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源

大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。

莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。

在AI图像生成领域，风格和主题驱动的图像生成一直脱节。字节跳动智能创作实验室推出USO模型，构建海量数据集，设计两阶段训练法，引入风格奖励学习范式，化解此难题，且已全面开源。

近年来，视觉 - 语言模型（VLMs）改变图像理解范式，但零样本分类性能对 Prompt 敏感。墨尔本大学 TMLR 小组提出 CARPRT 方案，以“无训练、黑箱适配、类别专属权重”解决提示词语义适配不足问题，已被 ICLR 2026 接收。

腾讯开源端到端文档OCR模型POINTS-Reader，论文被EMNLP 2025主会录取。它提出可扩展数据生成方案，具简洁、性能好、高吞吐量等特点，通过两阶段训练方案解决依赖蒸馏数据问题，在多基准测试表现佳。

丰田研究院和清华大学发布教程，用大量数据训练89个策略模型并验证。聚焦Co - training，研究五大模态、三种策略，对比不同架构，揭示有效和无效模态，还探讨CoT推理及多方面实验。

Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。

南大团队研究LLM在多操作数加法中的内部表征结构，发现算术状态呈高度结构化几何流形。提出等本位和轨迹与噪声量化模型，解释模型算错加法原因，还设计推理时纠错方法。

今天凌晨，微软CEO分享蛋白质模拟模型BioEmu，可将蛋白质动态模拟从数年缩至几小时，已在《自然》发表。它能解决传统方法难题，核心设计独特，训练整合多数据源、采用多阶段策略。

10月29日，Cursor 2.0发布Composer大模型，效率约为其他模型四倍。开发者分享其成极速代码Agent方法，如强化学习、平衡训练与推理负载等，还提及未来方向及研发反思。