「大模型预训练」共找到 9494 篇相关文章
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
为什么今天造大模型的人，一半在学物理
文章指出在AI前沿，不少定义方向的人出身物理。物理训练赋予的品味与做AI的方法论高度重合，体现在统计力学与神经网络、对普适规律的信仰等方面，还提到Scaling Laws最能体现这种品味。
Auto-Research「终极大考」：新基准撕下大模型科研伪装
来自多所高校的研究者提出MLS - Bench，用于解决现有Auto - Research评测的归因问题。它含140个真实研究任务，校准受控修改范围，主实验显示当前模型在方法发现上有明显缺口，Auto - Research需更严格评测标准。
推理快30%，性能超过千亿参数模型，15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker，以150亿参数体量，多模态推理能力强，推理Token消耗降超30%。它在AI分析指数成绩佳，优化计算成本，还介绍了训练策略与多维度性能实测情况。
tokens烧钱太快？试试这个四层模型组合
ClaudeCode等智能体兴起，开发者面临tokens不够用、主流模型降智问题。网络给出多模型策略缓解，网友将2026年主流模型分四档，还介绍了实际路由策略、部署建议，指出单模型依赖危险。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
The Batch: 869 | 编码助手的训练数据
研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。
世界模型双冠王诞生！国产世界模型力压谷歌、英伟达等持续领跑
近日，Manifold AI 研发的世界模型 Worldscape 0.2 在 WorldArena 榜单夺冠，此前 WorldScape 0.1 也登顶 WorldScore。该模型参数规模小，进化靠 MoE 架构，展现国产世界模型实力。
放弃开源、重组权力！扎克伯格掏出Muse Spark，杀回大模型主桌
Meta在AI发展遇阻后推出Muse Spark，它是MSL首个模型，定位为通向个人超级智能的第一步，性能表现出色，当前闭源，未来Muse系列或有开源变体，标志Meta AI权力结构重塑。