「训练方法」共找到 3281 篇相关文章
ETT:打破原生多模态学习视觉瓶颈,重塑视觉tokenizer优化范式
本文由多机构联合完成,针对传统视觉 tokenization 方法优化与下游任务训练割裂问题,提出 ETT 调优方法。它实现联合优化,在多模态理解、生成、重构任务表现出色,虽有局限但带来新突破。
DeepSeek用的GRPO有那么特别吗?万字长文分析四篇精品论文
文章解读 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文,分析 DeepSeek R1 里 GRPO 及改进算法。指出 GRPO 非特殊 RL 算法,当前 RL 算法实现相似,变革聚焦价值函数取舍等核心维度。
因果发现大模型迎来「理论破局」: DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM,解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别,架构上避免环路,处理数据能力强,还将推进特定领域预训练。
赌自己会失业!田渊栋八人天团狂揽44亿元,杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立,获GV、英伟达等投资6.5亿美元。他们要让AI自我训练,实现递归自我进化,若成功或使AI研究员岗位消失。此前已有相关成果,产品端Anthropic也在推进AI主动性。
技术框架不重要,大厂简历不值钱?小哥不会写代码却进了Lovable,80% 靠聊天也能上生产
Lovable是当红AI产品公司,估值66亿美元,其开设全职Vibe Coder岗位。零技术背景的Lazar Jovanovic成首位该岗员工,他80%时间规划对话,介绍了Vibe Coding方法及应对问题策略,强调表达、品味等重要性。
来了,DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目,该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上,将‘冗余专家’看成带容量边的图,每批解一次线性规划,实现 token 重新路由,单节点 100µs 级求解。
重新思考RLVR中的熵正则:从探索不足到探索过度的破局之路
2024年以来,RLVR使大模型在推理任务有显著突破,但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端,研究团队提出SIREN方法精准调控探索,实验显示其在多模型和数据集上性能提升显著。
Meta「透视」AI思维链:CRV推理诊断,准确率达 92%!
Meta FAIR团队在论文中提出CRV方法,可实时观察AI思维过程。它通过改造模型大脑结构,让推理可见。在算术推理实验中,检测精度提升到92.47%,还能让模型修正错误。不过该技术落地尚面临诸多挑战。
统计学和机器学到底有什么区别?
文章探讨统计学和机器学习的区别,指出两者目的不同,统计模型重推断关系,机器学习重预测。以线性回归为例说明差异,还澄清常见误解,表明机器学习基于统计学但涉及多领域,最后称选方法要看目标。
360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集,包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本,能提升模型图文对齐能力,还介绍了构建方法、分析及应用前景。