搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变

腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。

英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。

中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0，借鉴大脑信息处理机制，适配国产沐曦GPU，长序列推理提速超百倍，仅用2%数据匹敌主流模型，探索构建国产自主可控类脑大模型生态。

文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。

SpaceX官宣收购Cursor，后者获600亿美元股票。Cursor在Compile大会发布1.5T新模型和Origin平台。新模型规模大、从零训练、算力提升；Origin是面向智能体的Git平台，将与GitHub竞争。

3D重建领域中，NeRF和3DGS在新视角生成时易出现伪影，影响应用。英伟达团队提出Difix3D+，将预训练2D扩散模型用于3D渲染，单步去伪影，效率高、有泛化力，实验效果领先。

视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。

浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。

快手与清华合作团队发现大语言模型结果监督强化学习中，重要性采样机制“失灵”，存在权重错配现象。为此提出算法ASPO，在多基准测试中展现优势，训练更稳定。

腾讯上新艺术级3D生成模型Hunyuan3D - PolyGen，支持生成复杂几何模型，鹅厂游戏工作室用后美术师建模效率提升超70%。该模型在拓扑功能实测表现佳，还介绍了其核心原理和技术。