「自奖励训练」共找到 3107 篇相关文章
多模态模型学会“按需搜索”,少搜30%还更准!字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略,通过搭建工具、构建数据集及设奖励机制,用强化学习训练模型,使其按需搜索。实验显示,MMSearch - R1系统少搜30%还更准,为多模态大模型发展提供洞见。
全球首次,Transformer「混血」速度狂飙65倍!英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM,融合自回归和离散扩散模型范式。它引入KV缓存机制,推理速度相比标准MDM提升65倍,在速度与质量平衡上超越BD3 - LM,引发AI领域关注,英伟达或押注此方向。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型,AceSearcher来了
近期,多所高校研究团队发布 AceSearcher 模型,它是让同一语言模型在推理时兼任双角色的合作式自博弈框架,以两阶段训练为骨架,将推理与检索结合,提升复杂检索任务效果,在多任务上表现出色。
AI里最大的Bug,却也是人类文明最伟大的起点。
OpenAI论文指出AI产生幻觉是因其训练方式奖励瞎蒙行为。以考试为例,AI在信息不足时猜测是最优策略。还从统计学解释根源,指出解决幻觉需改变评估指标,也引发对人类想象力起源的思考。
混合数学编程逻辑数据,一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略,基于Qwen2.5 - 7B系列模型联合训练,有多项关键发现,为构建AI推理模型提供参考。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1,为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据,让模型学会像人一样查证,在多数据集上表现出色。
Meta提出Deep Think with Confidence:几乎啥都不用动,就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率,但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence(DeepConf),可在不增训练成本和不调超参数下,提升推理准确性与效率,本文对其全面解读。
英伟达拟 10 亿美元砸向这家 AI 编码创企!Copilot 技术大佬带队、成立两年估值近千亿
10月30日彭博社报道,英伟达拟最高投10亿美元给AI创企Poolside,此轮融资或使其估值翻四倍。该公司由微软技术大佬带队,开发AI编码助手,创建强化学习法训练模型,从底层自研,有独特优势。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕,称其受芯片限制,早期算力有限、训练困难。还指出内部存在造假、套壳等问题,如135B V2套壳Qwen 1.5 110B,pangu pro moe 72B套壳qwen 2.5的14b等,导致人才流失。