「LLM训练」共找到 2865 篇相关文章
重磅！DeepSeek R1论文经过同行评议登上Nature封面，梁文锋作为通讯作者再次创造历史
DeepSeek R1论文《DeepSeek - R1 incentivizes reasoning in LLMs through reinforcement learning》登上Nature封面，梁文锋为通讯作者。它是首个经同行评议的有全球影响力的LLM，训练成本低，创新使用‘纯粹强化学习’方法，启发众多研究。
告别大模型“失忆”！人大开源MemSifter：轻量代理先思考再回忆，搞定长时记忆
中国人民大学团队提出全新LLM记忆管理框架MemSifter，打破长时记忆管理‘精度不够’和‘成本太高’的困局。它将记忆检索‘外包’给轻量级代理模型，采用任务结果导向的RL训练范式，在8个基准测试中超越现有SOTA方案。
一年后，DeepSeek-R1的每token成本降到了原来的1/32
几天前，DeepSeek更新R1论文至86页，公开训练全路径等细节。英伟达发表博客展示在Blackwell GPU上对其降本增效，通过软硬协同提升每瓦特Token吞吐量，还介绍了TensorRT - LLM软件及相关技术提升性能的情况。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
从最优传输角度训练奖励模型：让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM，基于最优传输训练奖励模型。它重构训练目标，通过选择性分布对齐排除噪声偏好，解决了奖励模型训练中监督信号不可靠的问题，实验验证其有效且泛化能力好。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
RecGPT-阿里的LLM推荐系统落地方案
文章介绍阿里RecGPT推荐系统落地方案，包括召回和推荐可解释性两方向。召回采用三塔结构，通过挖掘用户兴趣生成商品标签提升召回多样性。还提及行为序列压缩、推荐归因等，以及大模型微调和评估方法。
ICLR 2025 Oral | LLM也有从众心理！
浙江大学团队论文指出，多AI协作系统存在“群体思维”，多个AI共同决策时会盲目跟多数意见。研究者开发BenchForm测试平台验证LLM从众行为，还分析原因、给出让LLM更独立的方法，指出从众利弊及未来挑战。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。