「LLM训练」共找到 2865 篇相关文章
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
英伟达发现RL Scaling！创造力暴涨，做基座模型做不了的事！
过去学界争论强化学习（RL）对语言模型的作用，此前研究认为其效果有限。本文发现问题出在训练时间短，提出ProRL，让训练突破2000步以上，结果惊人，小模型也能有出色表现。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
【CIKM'2026】CQ-SID：LLM生成式检索在手猫搜索召回中的探索与应用
文章围绕LLM生成式检索在手猫搜索召回的应用展开。先点明当前搜索召回机制问题及生成式检索挑战，提出CQ - SID等方法，经实验验证其效果佳，还介绍了线上实验成果，最后展望未来探索方向。
最新研究揭示视觉模型与人脑的对齐机制
FAIR与巴黎高等师范学院通过训练自监督视觉Transformer模型（DINOv3），评估脑 - 模型相似性。发现模型大小、训练数据量和图像类型影响相似度，DINOv3学到的表征会逐步与人脑一致。
企业级OpenClaw最强拍档来了！万亿参数的国产多模态大模型，刚刚开源发布
YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。
所有大模型，都学物理学：北大物理系一篇研究，震撼了AI圈
北大等机构团队跨界用物理学最小作用量原理，提出新颖方法估计 LLM 生成方向性，揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象，还能用物理指标给大模型画像，让 AI 研究提升到‘物理科学’高度。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。