「预训练语言模型」共找到 8240 篇相关文章
陈大年复出，入局大模型
国产大模型领域黑马StartLux-V1.0-27B-Preview，参数量仅27B，在信通院MCP测试中排综合第二，仅次于1.6万亿参数量的DeepSeek-V4-Pro。其创始人陈大年押注本地模型，公司专注该领域商业化。
深入感知级别图像理解：UniPercept 统一图像美学、质量与结构纹理感知
多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
商汤科技与南洋理工大开源空间智能多模态SOTA模型
商汤科技与南洋理工大学构建800万量级三维空间数据集，训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色，部分超越GPT - 5，还展现出泛化等能力，且能赋能具身智能。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
大模型能“原地”改参数了！字节Seed&北大新论文：测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。
ICML'25 | 告别手动SFT！一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。
GAIR 2025 世界模型分论坛：从通用感知到视频、物理世界模型的百家争鸣
第八届GAIR全球人工智能与机器人大会世界模型分论坛上，五位青年学者围绕世界模型展开精彩演讲，话题涵盖通用感知、三维技术等。他们的研究为世界模型领域带来不同启发，目前该领域研究尚处起步阶段，共识未形成。
苹果推出 Ferret-UI Lite：一款用于查看和控制 UI 的端侧 AI 模型
苹果推出 30 亿参数的 Ferret-UI Lite 端侧 AI 模型，可解析屏幕图像、与应用交互。现有 GUI 智能体方法存在建模复杂等问题，Ferret-UI Lite 性能有竞争力，训练采用两阶段流程，还给出应用建议。
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。