「方法发现」共找到 2450 篇相关文章
SFT在帮倒忙?新研究:直接进行强化学习,模型多模态推理上限更高
学界常用「监督微调(SFT)+ 强化学习(RL)」训练大模型。但新研究发现,SFT 会引发「伪推理路径」,阻碍推理进步。相比之下,直接进行 RL 训练,模型多模态推理上限更高,该团队训练的模型还刷新了纪录。
刚刚,Thinking Machines Lab首次发长文,揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》,指出大语言模型推理不确定性的真正元凶是缺乏批次不变性,还解释核函数计算中数字加法顺序问题,介绍使核具有批次不变性的方法并给出实验结果。
函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜,发现遗忘源于模型激活带偏差新功能,非覆盖旧功能。还设计FVG训练法,保留并对齐函数向量,保护模型能力。相关论文被ICLR2025接收,代码开源。
为什么Agent总是Demo猛如龙实战一条虫?
一篇51页论文研究主要智能体,指出适应性是关键。它提出2×2分类框架将适应方法分四大范式,还明确不同范式优缺点,发现T2范式数据效率远超A2。最后点明Agent适应性研究的四个前沿方向。
Transformer学不会多位数乘法?MIT和哈佛的研究指出了一个简单漏洞
MIT、哈佛和谷歌DeepMind团队实验发现,Transformer做4位数乘法有软肋。用‘隐式思维链’(ICoT)训练的模型准确率达100%,传统方法仅1%。研究揭示了问题根源,还给出修复方案,但也引发诸多质疑。
让图像生成告别 AI 味!清华 + 港中大 + 腾讯混元联手推出SRPO
腾讯混元联合港中大、清华推出SRPO,解决文生图技术痛点。它结合Direct - Align和SRPO,提升图像审美等,训练时间缩至十分钟,在测试中碾压主流方法,不过对冷门风格控制和机制可解释性待提升。
Code2Video:代码驱动、智能体协同、精准可控的教学视频生成
新加坡国立大学 ShowLab 团队提出 Code2Video,一种基于代码驱动的视频生成新范式。它以可执行代码为媒介,结合三智能体协同框架,解决了现有文生视频方法在教育场景的不足,在美学和教学效果指标上有明显提升。
Hexstrike AI的安装及交互跟踪环境
Hexstrike AI是基于专业化Agent协同的智能渗透测试系统,有强大自动化攻击能力。文章介绍其安装方法,包括服务端和客户端配置,还提及搭建跟踪系统及后续计划,将深入分析专业AI代理原理及关注v7.0新功能。
Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。
斯坦福大模型推理课免费了,谷歌推理团队创始人主讲
谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25讲“LLM推理”课。大模型推理是给出答案前的中间思考步骤,能让复杂问题可解、提升答案准确性。还介绍了让模型输出推理答案的方法及提升推理能力要点。