「双预训练架构」共找到 3616 篇相关文章
哈萨比斯出的难题，GPT之父接上了：用一个知识停在1930年的模型
GPT之父Alec Radford等用1931年前数据训练13B模型Talkie，切断现代知识污染。研究者测试其能力，探讨它对未来的“预感”、规避污染问题及数据多样性等，同时训练中也面临时间泄漏、数据质量等难题。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
The Batch: 873 | 通过自监督学习实现更好得图像处理
Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。
李飞飞首个多模态世界模型 Atlas 正式发布：从零开始预训练，几张图就能构建世界
李飞飞创办的 World Labs 发布多模态世界模型 Atlas，可原生处理多类型数据，有世界生成、重建和模拟等能力。还介绍其研发历程、技术特点，以及 World Labs 收购、融资等情况。
小红书提出社交大模型RedOne 2.0：兼听、敏行
在SNS内容爆炸式增长的当下，传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型，采用以RL为核心的三阶段渐进式训练方法，实验显示其性能优异，还能转化商业价值。
阿里开源Qwen3-Coder-Next，80B参数仅激活3B的MoE顶尖编程助手
阿里开源小型MoE代码模型Qwen3 - Coder - Next，总参数量800亿但仅激活30亿参数，在代码生成等任务表现出色。团队构建训练技术栈解决数据匮乏，模型训练分阶段，多领域专家模型能力整合，基准测试性能强劲。
不换 Kimi 底座，1/10 成本追平 Opus 4.7？Cursor 用 Composer 2.5 反击 Claude Code
Cursor 发布 Composer 2.5 应对竞争，虽沿用 Kimi K2.5 底座，但通过后训练提升性能。它跑分接近 Opus 4.7，价格更低，在长任务处理上表现更好，还公布多项技术进展，正推进大模型训练。
全网首测！首款国产GPU「AI算力本」现场上手
新智元报道首款国产GPU「AI算力本」MTT AIBOOK，它搭载国产全功能显卡，预装开发环境，打破系统壁垒。其背后的MUSA架构全栈自研，软件升级、有翻译工具，硬件架构革新，还有开源计划，产品应用广泛。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
半在线RL新范式UI-S1，使得GUI Agent既稳定又规划长远
现有AI训练方法在GUI自动化中各有弊端，本文提出半在线强化学习范式，训练出UI - S1 - 7B模型，性能提升显著，还提出新评估指标SOP，是迈向实用化AI智能体的重要一步。