「Next-Token推理」共找到 2527 篇相关文章
清华&通院推出"绝对零"训练法,零外部数据大模型自我博弈解锁推理能力
清华、北通院和宾州州立大学研究人员提出“绝对零”训练法,让大模型通过自我博弈生成并解决任务获推理能力。测试显示,其训练出的模型超专家标注样本训练的模型,且能提升编程与数学推理表现。
省token神器3天狂揽4.1k星!19岁小哥开发,信息无损最高省87%
一款名为caveman的省Token神器在GitHub蹿红,3天揽4.1K星。它由19岁外国小哥开发,能让Agent表达更简洁,信息无损最高省87%。不过也存在争议,如节省的多为输出Token,强迫简洁或让模型变笨。
EMNLP2025 | 揭开LLM训练数据中的中文污染真相,有比“您好”高2.6倍的token?
近年来,大型语言模型虽成功,但训练数据易混入不良内容。论文《Speculating LLMs' Chinese Training Data Pollution from Their Tokens》探索此问题,定义PoC Token,开发PoCDetect和PoCTrace工具,揭示LLMs训练数据污染情况。
DeepSeek-V3.2被找出bug了:疯狂消耗token,答案还可能出错,研究人员:GRPO老问题没解决
DeepSeek-V3.2虽强且火爆,但被发现存在bug,即浪费token问题。研究者指出这源于GRPO算法的‘隐藏偏见’,虽修正了‘难度偏见’,但‘长度偏见’仍在,官方也承认token效率是挑战。
更高智商更快思考!蚂蚁开源最新万亿语言模型,多项复杂推理SOTA
蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T,超越多个开源和闭源模型,在多项复杂推理基准中取得SOTA表现。它推理和代码能力强,研发采用‘中训练+后训练’,还提出新奖励机制和LPO方法。
多模态推理新范式:上海AI Lab新作证明“画”出答案比“说”出答案更靠谱
上海人工智能实验室等联合提出DiffThinker模型,利用扩散模型构建全新视觉推理范式。它在视觉中心任务上表现优异,准确率碾压GPT - 5等模型,还能与MLLM协同推理实现1 + 1 > 2的效果。
700万参数击败DeepSeek R1等,三星一人独作爆火,用递归颠覆大模型推理
今年6月Sapient Intelligence提出的HRM影响大模型推理结构,四个月后三星研究员Alexia Jolicoeur - Martineau推出TRM,700万参数模型在推理基准测试中超越参数多10000倍的模型,还介绍了TRM原理、改进及实验结果。
腾讯AngelSlim重磅升级!面向全模态的大模型压缩算法工具包,推理速度飙升 1.8倍!
近年来,推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现,支持多模态场景,最高可实现 1.9× 推理加速,还具备多亮点。
40倍推理加速!复旦&微软:用「非线性流」拟合复杂轨迹,2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案,引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质,实现约40倍推理加速和4倍训练收敛加速,微调极少参数,在多模型验证效果出色。
大模型如何泛化出多智能体推理能力?清华提出策略游戏自博弈方案MARSHAL
近日,清华大学等机构研究团队提出 MARSHAL 框架,利用强化学习让大模型在策略游戏自博弈。实验表明,多轮、多智能体训练提升了模型博弈决策水平,将推理能力泛化到通用多智能体系统,在一般推理任务表现显著提升。