「LLM训练」共找到 2867 篇相关文章
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
知识增强LLM与搜索引擎用户的感知信息价值差异比较研究
研究选取文心一言与百度搜索引擎，探究不同任务复杂性、信息获取场景下，用户使用两种工具后的感知信息价值差异。发现两者在部分指标有显著差异，还给出两类工具优化建议。
Karpathy「疯狂之作」：100美元、4小时，就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」，以不到8000行代码复现ChatGPT全流程，只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
0.01%参数定生死！苹果揭秘LLM「超级权重」，删掉就会胡说八道
苹果研究人员发现大模型中极少量的「超级权重」，即便占比仅0.01%，对模型能力影响巨大。这一发现为大模型「科学瘦身」提供思路，还提出定位方法，助力模型量化和未来研究。
企业数据“LLM ready”与“小Palantir”们的崛起 ｜ AGIX PM Notes
文章指出当前 AI 仍处准备阶段，企业数据未就绪是落地大障碍，深层问题是流程 AI 原生化转型。还介绍本周市场、多家科技企业动态，以及巴菲特和芒格对 ETF 的看法及投资建议。
LLM总是把简单任务复杂化，Karpathy无语：有些任务无需那么多思考
随着推理大模型和思维链普及，大模型有了‘深度思考’能力，但现在有些偏科，简单任务也复杂化。AI大牛Andrej Karpathy发长文指出该现象，认为是基准测试优化所致，大模型发展不能只追求分数。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
彻底戳穿AI「失忆症」！超越OpenAI全局记忆，中国队开源LLM记忆操作系统
大语言模型有「记忆」缺失问题，国内顶尖团队打造出操作系统级AI记忆框架MemOS并开源且可商用。它将「记忆」升为「一级资源」，用MemCube封装记忆，评测显示性能优于OpenAI全局记忆方案。