「GPU训练」共找到 2449 篇相关文章
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
DeepSeek不惜代价保住它！V4关键特性被挖出来了
DeepSeek V4技术报告被深挖，为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐，是复杂上下文系统底座，但会牺牲GPU利用率等，换来训练等多阶段可复现和稳定度。
读万卷书，大模型就能「看」懂视觉世界？Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。
SOP：具身智能在线进化新范式，为大规模真实世界部署而生
智元机器人具身研究中心提出SOP在线后训练系统，将VLA后训练重构为“在线、集群、并行”，可即插即用后训练算法。它有高效探索、缓解偏移等优势，实验显示能提升性能、效率，突破VLA瓶颈。