「预训练时代」共找到 3280 篇相关文章
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
The Batch：829 | DeepSeek 是怎么做到的
DeepSeek 去年末以低成本训练出先进开源大模型引关注，近日团队披露构建 DeepSeek - R1 和 DeepSeek - V3 的软硬件方案，降低内存和计算需求，其细节公布让更多团队有机会参与前沿研发。
ACL 2026｜清华新作ControlAudio：声音何时响、说啥话？都能按剧本可控生成！
现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。
全球AI算力大战变天！十万卡算力集群爆表，国产IB真香？
大模型竞赛进入万卡、十万卡时代，网络取代算力成新瓶颈。过去RoCE因成本优势受青睐，但集群规模扩大后运维复杂。IB架构以其稳定性迎来价值重估，国产IB方案突破或改变技术路线选择。
我们对 Coding Agent 的评测，可能搞错了方向
用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
Qwen3深夜上新Embedding系列，专为文本表征等任务设计，在Qwen3基础模型上训练，有0.6B/4B/8B三种尺寸，8B版本在MTEB榜单排第一，性能超商业API，已在多平台开源。
长程任务飙升98%，斯坦福Skill原生LLM来了
普林斯顿、CMU、斯坦福、牛津等提出Skill-Native大模型，提出Skill Entropy度量技能切换难度，搭建Skill²-Bench评测，还将熵用作训练信号提出Skill-Entropy RL，提升多模型准确率，且技能熵可复用。
又一华为天才少年入局具身创业！用视频生成数据训家用机器人，首个模型登顶具身基模榜单
又一华为天才少年周凯文加入具身创企诺因智能。该公司成立不到一年，专注ToC家用具身智能机器人，用视频生成数据训练模型，其KnowinBrain模型登顶具身基模榜单，团队人才密度高。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。