「预训练研究」共找到 3737 篇相关文章
重塑记忆架构：LLM正在安装「操作系统」
现代大型语言模型（LLM）存在「记忆缺陷」，难以维持长期记忆。近期关于大模型记忆的研究增多，如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型，以及实现 LLM 记忆的多种方法和相关研究成果。
7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律
非营利研究机构METR报告显示，Agent能力每7个月翻一番，这在9项基准测试中得到验证，任务涉及编程、数学等领域，大模型正迈向高度自动化，且Agent性能提升快，未来处理复杂任务能力或更强。
深夜开源首个万亿模型K2，压力给到OpenAI，Kimi时刻要来了？
昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。
被“网暴”两个月后，Yann LeCun 携最新世界模型杀回！小扎千万美元激励抢人，Meta AI 内部权利之争开始
Meta推出新的“世界模型”V-JEPA 2，可提升AI物理推理能力。它是V-JEPA扩展版，在百万小时视频上训练，能让机器人完成任务。Meta还发布三项基准测试，且已开源。LeCun力挺，小扎为追进度亲自招人才。
万字总结：如何练就适配人形机器人的可靠「灵巧手」？｜GAIR Live
在具身智能崛起时，灵巧手成人工智能落地核心突破口。2025年5月25日相关线上沙龙中，嘉宾围绕灵巧手软硬件、数据与模型、落地应用等交流，探讨数据难题、开源价值、落地挑战及中美差距等。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
3.4K星Apple出品FastVLM：视觉TTFT效率提升85倍，凭啥这么牛！
文章指出VLM在实际生产应用中因高分辨率图像存在效率问题，介绍Apple出品的FastVLM解决方案，阐述其架构、训练过程，展示在多个基准测试的性能，凸显在高分辨率输入下提升效率的优势及实际应用价值。
清华初创&UIUC学者用7B模型在预测市场上自我蒸馏，跑赢GPT-5.6和Opus 5
UIUC学者联合清华初创团队Astraculum，围绕LLM部署阶段持续学习问题展开研究，提出Social World Model框架，基于预测市场数据测试，经自蒸馏的7B模型击败了GPT-5.6等多款前沿大模型，还搭建了专用MLOps引擎TrajOps。
具身智能的无本体数据，终于有了自己的「代表作」
自变量机器人发布的Demo中，机器人用数百条无本体数据完成化学实验。其发布的TwinDEX系统由无本体数据采集系统和机器人末端执行器组成，能让无本体数据获接近真机数据的训练效果，重新定义数据采集逻辑。