搜索：第二代AI预训练范式

「第二代AI预训练范式」共找到 11121 篇相关文章

多模态后训练反常识：长思维链SFT和RL的协同困境

华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。

本文介绍清华系计算创业公司是石科技，其93年创始人闫博文不囤算力仍拿下大模型明星公司订单。团队技术实力强，3次获戈登·贝尔奖。公司构建全栈能力，为多领域提供服务，未来想以算力赋能各行业。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

本文详细介绍了GPU工作原理及编程模式。它从图形渲染发展到GPGPU，NVIDIA推动其通用计算。还阐述了CPU/GPU异构架构，对比二者性能，介绍编译、加载、启动过程，以及GPU硬件架构、编程与执行模型，分析SIMD和SIMT。

论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。

日本艺术家北冈秋吉创作的蒙娜丽莎图难倒一众大模型，ChatGPT、Gemini等表现不佳，国产玩家如豆包等也有判断失误。不过o3 - Pro一次性答对，GPT - 4o尝试三次猜对。

曾以低价高性能出圈的DeepSeek，在自家平台遇冷、市场份额下滑，但其R1和V3模型在第三方平台使用量增长近20倍。背后是‘Token经济学’及战略转移，它开源模型，将算力留作研发。Anthropic也因算力受限有类似问题。

最近「上下文工程」很火，Andrej Karpathy 为其打 Call。它和「提示词工程」不同，是构建自动化系统给模型提供输入。文章介绍了其核心要素、实践方法论，还给出了参考的博客和视频。

大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。

昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。