「端到端训练」共找到 4182 篇相关文章
GPT-5 核心成员详解 RL:Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈,探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合,GPT - 5 是 o3 迭代,还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
刚刚,Meta风雨飘摇中发了篇重量级论文,作者几乎全是华人
风雨飘摇的Meta发布重量级论文《Agent Learning via Early Experience》,提出「早期经验」新范式,让AI智能体「无师自通」,为突破强化学习瓶颈提供新思路。该范式结合两种策略,实验效果显著,还指出了局限与未来方向。
开源全合一智能体沙箱
AIO Sandbox是开源全合一智能体沙箱,将浏览器、Shell等整合到同一容器,提供统一安全开发执行环境。解决传统沙箱问题如文件共享难,有统一文件系统等优势,文中介绍其安装、用法、特性等。
Thinking Machines曝LoRA终极指南:10倍学习率,媲美全参微调
Thinking Machines推出论文《LoRA Without Regret》,研究LoRA与FullFT达到相近表现的条件。通过实验发现,把握关键细节,LoRA可与FullFT性能相当,还探讨了关键因素、批大小效应等内容。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。
对抗协作+原型学习!深北莫FedPall开源,联邦学习破局特征漂移,准确率登顶SOTA
深圳北理莫斯科大学人工智能研究院在ICCV发表FedPall算法,结合原型对比与对抗协作学习,在多种特征偏移数据集获SOTA性能。该算法通过多步骤训练缓解特征漂移,在多个公开数据集表现出色。
一半人明天不上班,GDP不会掉一点!耶鲁大学揭AGI残酷真相
耶鲁学者Restrepo论文指出,AGI时代经济因算力扩张狂飙,但普通人工资被「算力成本」锁死,与增长脱钩。劳动在GDP占比将归零,财富流向算力资本,人类或被边缘化到附属岗位。
阿里新开源提出建设性安全对齐方案,向“让用AI的人安全”新范式跃迁
阿里巴巴集团安全部联合多高校发布技术报告,提出建设性安全对齐理念并集成到Oyster - I模型。该理念突破传统防御式机制,构建新博弈框架,实验显示该模型在安全和通用能力上达SOTA水平。
英伟达的AI已经开始接管整个项目了?SATLUTION自主进化代码库登顶SAT竞赛
NVIDIA Research提出SATLUTION框架,将LLM代码进化能力扩展到完整代码库规模,能处理复杂项目。它协调LLM智能体对SAT求解器代码库迭代优化,在SAT竞赛中超越人类冠军,成本低且效率高。
从数据分布视角,重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链(CoT)推理。指出CoT并非真正推理,而是模仿,其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化,提醒勿过度依赖。