「训练推理」共找到 3550 篇相关文章
“坏”数据让模型更“好”?重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”,但论文《When Bad Data Leads to Good Models》提出反直觉观点,适度加入有毒数据,通过后训练技术可降低模型毒性,保持一般能力,挑战常规做法。
从单领域到多能力协同:数据混合如何重塑AI的强化学习
上海AI Lab的OpenDataLab团队通过大规模实验剖析可验证强化学习(RLVR)在多领域推理中的机制,发现逻辑与数学数据相互支持、代码推理有跨领域混合效应等,为构建AI推理模型提供关键发现。
综述 | 从“说出来”到“脑中算”:Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限,潜在思维链(Latent CoT)让推理在连续隐藏状态空间进行。论文梳理该领域,建立框架,介绍方法,探讨可解释性与无限深度推理,指出价值、挑战与未来方向。
AI哪怕答案正确,逻辑链却惨不忍睹,奥数级不等式证明成功率不到50%| 斯坦福&伯克利&MIT
斯坦福、伯克利、MIT等联合研究,系统评估29个大模型在奥数级不等式证明任务的能力。研究发现,模型答案正确多靠猜,推理漏洞多,参数大、思考久也不能提升推理严谨度,但自我反思和定理线索策略有改善效果。
大模型听懂语音却反而变笨?港中深与微软联合解决语音大模型降智问题
从GPT - 4o开启全能交互时代后,Speech LLM面临“模态推理鸿沟”问题,输入从文本变语音,推理能力显著衰退。港中深与微软联合提出TARS框架,通过三项创新解决此问题,实验显示推理能力100%复原。
DeepSeek V3.1 把 R1 融了,一堆新活:<think>开关、动态搜索、新ToolCall ...
DeepSeek在Hugging Face悄悄发布V3.1版本,将对话和推理模型合并为混合推理模型。它有显式推理、内置搜索、简化工具调用等特性,Aider测试成绩佳且成本低,但也存在战术回避、幻觉率升高等问题。
Meta联手UCSD发布DeepConf:计算成本暴降85%,99.9%准确率!
Meta AI联合UCSD推出DeepConf技术,解决了AI高难度推理准确率与计算成本的难题。它让AI学会“察言观色”,筛选靠谱推理路径,在AIME 2025竞赛中与GPT - OSS - 120B模型取得99.9%准确率,还节省大量计算资源。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
一盘大棋!OpenAI「截胡」IMO金牌,奥特曼为GPT-5献上「核弹级」预热
OpenAI用全新通用推理模型拿下IMO金牌,抢了谷歌DeepMind的风头。此模型是融合新通用技术的推理LLM,在推理时间跨度和效率上有进步。奥特曼借此为GPT - 5预热,陶哲轩指出缺乏统一标准时对比AI表现无意义。
Test Time Scaling Law远未达到上限! o4-mini仅15.8%通过率,华为诺亚提出代码HLCE终极基准
华为诺亚研究员推出全新编程基准HLCE,含235道竞赛难题。实验显示,顶级LLM在该基准表现不佳,推理模型优势大,IOI交互式题难攻克。研究还发现模型自我认知与推理能力发展不同步,Test Time Scaling Law远未达上限。