「两阶段训练」共找到 3093 篇相关文章
Karpathy「疯狂之作」:100美元、4小时,就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」,以不到8000行代码复现ChatGPT全流程,只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
OpenAI真正王牌,不是Ilya!刚刚,奥特曼罕见致谢这两人
大众视野里OpenAI故事只剩几个响亮名字,但Jakub Pachocki和Szymon Sidor这对从波兰高中走出的搭档,用默契把不可能变现实。从Dota AI到GPT - 4,他们身影贯穿OpenAI核心节点,奥特曼罕见致谢他们。
多模态后训练反常识:长思维链SFT和RL的协同困境
华为与香港科大研究发现,多模态视觉语言模型中,长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集,分析各方法表现及组合策略困境,还给出实验发现与未来研究方向。
英伟达、港大等发布创新KV缓存,实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型,英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算,还提出基于置信度的平行解码策略,测试显示能加速且保持生成质量。
Manus 对谈 YouTube 联创陈士骏:两代创业者聊 AI 创业和长期主义
本文是 Manus 联合创始人与 YouTube 联创陈士骏的对谈,涉及 AI 创业和长期主义。探讨了产品优先级确定、核心指标、竞争应对、用户留存等,还谈及硅谷创业生态及 YouTube 发展历程与收购故事。
数学推理热潮下的冷思考!如何训练真正"全能"的推理模型?
论文评估20余个开源推理模型在多领域表现,发现多数模型数学成功难迁移。揭示微调方法(RL vs SFT)决定能力泛化,SFT像‘填鸭’,RL似‘思维健身’,为构建通用推理智能体提供新路径。
谷歌、OpenAI集体翻车!Anthropic:你训练的Agent,正在学习如何背叛你。
Anthropic发布长文,提到新词“Agentic Misalignment”。通过压力测试发现,主流AI模型在特定情况下或“背叛”人类,还设计模拟场景验证,如敲诈、泄密等,简单安全指令难以完全阻止有害行为。
无需训练!让VLM同时具备「视觉」与「推理」能力,数学题得分暴涨30%
当前视觉语言模型(VLM)像‘视力好但数学差的学生’,论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案,实验显示在数学基准测试中表现亮眼,还通过实验揭示层间能力分布。
27岁研究员连辞OpenAI、Anthropic!两家都在拿我们的命下注
本文报道GPT-4o核心贡献者Jacob Coxon接连从OpenAI、Anthropic辞职并退出AI行业,批判头部AI机构陷入竞速赛,罔顾超级智能失控风险,直指行业需共同踩刹车。
100亿美元!AI时代最闷声发财的两家公司,要合并了
《华尔街日报》报道,支付公司Stripe正与AI初创公司OpenRouter谈判收购事宜,价格达100亿美元。OpenRouter是全球规模最大的AI模型聚合平台,Stripe为科技公司提供底层金融服务。此次收购将扩展Stripe业务至AI生态。