「稳定训练」共找到 2359 篇相关文章
马斯克曝光Grok 5！1.5万亿参数，偷师Cursor狂练编程
5月25日凌晨马斯克官宣，1.5万亿参数Grok V9-Medium训练完成，2 - 3周后发布。训练灌入大量Cursor编程数据，编程能力将大幅提升。此前v8 - small年底前开源，马斯克编程赛道布局全面摊牌。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
改变强化学习范式，Meta新作呼应Sutton「经验时代」预言
图灵奖得主等提出AI智能体将迎「经验时代」，但训练面临挑战。Meta研究用「早期经验」范式解决问题，包含隐式世界建模和自我反思，提升了智能体任务成功率和泛化能力。
The Batch: 939 ｜在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。
登顶SuperCLUE DeepSearch，openPangu-R-72B深度搜索能力跃升
近日 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能，经预训练技术优化和 DeepSearch 专项突破，彰显国产算力与大模型研发融合成效。
抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入
字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。