「FP4训练」共找到 3412 篇相关文章
用中等难度prompt做高效post training
近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’?揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文,指出预训练大模型存在‘抗对齐’的 Elasticity 现象,即对齐微调只是暂时拉伸,后续微调会让其迅速弹回预训练分布。研究量化该概念,用‘压缩理论’刻画对齐并实验验证。
马斯克终于成『AI No.1』,6大案例看实力与水分
马斯克发布Grok 4,宣称其超越OpenAI等LLM。它屠了各种榜单,但Grok系列口碑欠佳。文中通过多案例测试,展现其在各方面的表现,如编码、数学、图像等,还提到了API速度和价格。
最懂英伟达的CoreWeave,为啥突然花钱买了个强化学习作坊?
算力巨头CoreWeave市值达483.9亿美元,收购专攻强化学习训练AI智能体的OpenPipe。CoreWeave想打造全能平台,此前已收购W&B,此次收购标志其涉足智能体核心训练环节。OpenPipe的ART框架有独特优势。
马斯克吹牛了吗?Grok 4第一波实测出炉:既能完虐o3,也菜到数不清6根手指
马斯克称Grok在各学科达博士后水平,激起网友兴趣。博主测试显示Grok 4在多项测试中完胜o3,网友还用它写游戏、让概念可视化。不过Grok 4也有翻车表现,马斯克称其仍有改进空间。
刚刚,Thinking Machines Lab博客提出在策略蒸馏,Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客,提出在策略蒸馏可结合强化学习纠错与SFT奖励密度,成本低且能让小模型有强大性能。该成果受Qwen团队启发,大量用Qwen3模型。还对比了不同训练方法。
一年从3B卷到0.xB:MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代,MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责,采用互补预训练目标,还开源训练数据,且迁移到多任务表现良好。
成本不到8千美元!新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型,仅15亿参数、训练成本不足8000美元,却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则,分两阶段训练,性能出色,成本低且数据无污染。
独家 | 乐聚发布垂域具身模型:一倍工业提效,两项榜单第一
AI科技评论独家获悉,乐聚机器人将推出面向工业场景的“垂域具身智能模型”——KUAVO VLA,该模型用600+小时真机数据进行中训练,能提效且减少适配与训练成本,两项指标排名第一,利好二次开发者。
10亿天价挖角惨遭12人连环拒,小扎钞能力失灵!OpenAI系初创0人卖身
Meta为从OpenAI前CTO初创公司挖人,开出10亿美元天价,却遭12人拒绝。同时,苹果AI团队一月内流失4员大将。此外,Meta的Llama 4发布遇挫,小扎豪掷重金重组AI部门,其AI豪赌回报成疑。