「语言模型训练」共找到 8304 篇相关文章
第二代AI预训练范式：预测下个物理状态
英伟达科学家 Jim Fan 发布《第二代预训练范式》，指出当前以 LLM 为代表的第一代范式应用于物理世界时「水土不服」，认为第二代范式是「预测下一个物理状态」，引发机器学习社区讨论。
死掉的创业公司，成了AI最抢手的训练数据
过去一年，硅谷倒闭创业公司用数字履历重新估价，卖给AI实验室训练agent。产业链迅速形成，中游有SimpleClosure和Sunset等，下游有多家做RL gym的创业公司，不过该产业链面临隐私等敏感问题。
NUS&复旦&清华：首个系统性大模型Latent Space综述
新加坡国立大学等多机构发布大模型潜在空间领域首个系统性全景综述，从“基础—演进—机制—能力—展望”拆解潜空间范式的底层逻辑、技术路径与未来前景，还对比了潜空间与显式空间差异。
效果非常不错!阿里昨开源图形海报生成模型Qwen-Image
阿里昨日开源多模态图像基础模型Qwen-Image，基于20B参数MMDiT架构，在复杂文本渲染和精确图像编辑方面有重大突破，支持多风格图像生成、智能图像编辑等，还介绍了使用、部署等方法。
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
谷歌开源Gemma 3 270M，性能超越Qwen 2.5同级模型
本周四，谷歌发布 Gemma 3 270M 模型，它参数小、功能强，具备指令跟踪等能力。在 IFEval 测试中表现出色，节能且适合多场景，谷歌还提供使用指南和试用途径，Gemma 系列下载量已破两亿。
Agent RL 总是训练崩？UCLA 这篇论文给了救命稻草！
这篇解读UCLA和威斯康星大学麦迪逊分校论文《ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning》的文章指出，Agent RL训练易崩溃，原因在于多轮交互任务带来奖励稀疏等问题。论文建“竞技场”，提出SAMPO算法提升稳定性，还给出从业者建议。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
为什么今天造大模型的人，一半在学物理
文章指出在AI前沿，不少定义方向的人出身物理。物理训练赋予的品味与做AI的方法论高度重合，体现在统计力学与神经网络、对普适规律的信仰等方面，还提到Scaling Laws最能体现这种品味。
刚刚，DeepSeek新模型MODEL1曝光，3处架构升级！
DeepSeek更新FlashMLA时曝光新模型MODEL1，从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异，如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512。