「论文阅读」共找到 1047 篇相关文章
舍弃自回归,离散扩散语言模型如何演化?NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文,梳理离散扩散方向研究图谱,对比自回归局限与离散扩散优势,阐述数理基础、模型生态、训练与推理技术,还提及应用及未来方向,显示其对自回归范式的替代潜力。
颠覆搜索引擎,下一代Agentic Deep Research!12家顶尖学术机构联手提出
在信息获取方式变革背景下,12家顶尖机构联合发布论文提出Agentic Deep Research,它由大模型驱动,可自动规划检索路径等,或颠覆传统搜索范式,且有基准成绩和TTS Law支撑,开源生态也在聚焦。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点?
该论文提出强化学习场景下的启发式数据合成流程(SwS),利用模型自我感知弱点驱动自动化问题生成,弥补推理缺陷。对其扩展后适应性更广,在多基准测试集和模型上验证有效,性能提升显著。
单应计算加速数十倍、计算量减少95%!基于几何的SKS和ACA矩阵分解被提出
东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解,计算量比通用方法减超95%,能减少二维码扫描等应用的计算消耗,有望用于多领域,论文已被IEEE T - PAMI接收。
独家!哈工大斩获AI顶会ACL评审阶段最高分,让AI领略汉字之美
哈工大论文获AI顶会ACL 2025评审阶段已知最高分。团队用传感器捕捉手部书写实现汉字输入识别,独创中文字形编码让AI理解汉字形态,革新中文人机交互,推动汉字文化传承,为AI理解汉字开辟新路。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜,发现遗忘源于模型激活带偏差新功能,非覆盖旧功能。还设计FVG训练法,保留并对齐函数向量,保护模型能力。相关论文被ICLR2025接收,代码开源。
建模世界偏好:偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law,从论坛收集数据在Qwen 2.5模型训练,发现测试损失随训练规模指数增长线性下降。提出建模世界偏好,论文和模型已开源,还探讨了偏好建模可扩展性等问题。
图像分词器造反了!华为 Selftok:自回归内核完美统一扩散模型,触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术,通过反向扩散将自回归先验融入视觉 token。它突破传统,实现因果 token、强化学习友好型 token 及纯 AR 大一统架构,实验在多方面表现优异,论文还入选 CVPR 2025 最佳候选。
具身智能发展趋势与展望 | 中国工程科学
文章深入探讨具身智能的概念、内涵、计算框架与系统实现,梳理发展现状、趋势与挑战,强调生成式AI在其演进中的关键作用,还分析我国发展进展、风险,并给出研究方向与对策。