「大模型预训练」共找到 9527 篇相关文章
爆冷！字节Seed 在CCPC 决赛只做出一道签到题，而DeepSeek R1 直接挂零？
第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，结果意外，仅做出一题，DeepSeek R1 挂零。不同模型架构表现差异不大，暴露出大模型做算法题短板，推理模式表现更好。
劈柴哥和哈萨比斯亲自站台！谷歌世界模型Project Genie刷屏，幕后团队揭秘60秒不是极限，内存是巨大约束
谷歌发布世界模型原型 Project Genie，用一句话或图就能生成可玩交互的实时虚拟世界，由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建，解决了世界模型长期以来的短板，目前处于实验阶段。
终于有AI视频模型，解决了体操难题。
前天深夜MiniMax发布Hailuo 02视频模型，虽未正式上线但放了预告片。该模型能生成杂技动作，解决了体操难题，在复杂动作肢体表现上吊打其他模型，还支持原生1080P，价格便宜。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
ICML spotlight | 一种会「进化」的合成数据！无需上传隐私，也能生成高质量垂域数据
大模型发展使数据短缺问题加剧，特殊领域更严重。为此提出合成数据自主进化框架PCEvolve，只需少量标注样本，就能在保护隐私同时进化出数据集，还介绍了其架构、选择器设计及实验结果。
自媒体误读了 DeepSeek-OCR：一图胜千言
近期，DeepSeek-OCR引发关注，但很多媒体误读其为OCR工具，实际是视觉语言模型。它是为大文档等场景优化的视觉压缩与识别系统，架构新颖，训练讲究，效果出色，为行业带来新思路。
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
突发！卡帕西官宣加入Anthropic，OpenAI对家挤满了前员工
安德烈·卡帕西宣布加入 Anthropic，负责 Claude 模型大规模训练。他是知名 AI 研究者，曾任职 OpenAI、特斯拉等。此前 AI 人才争夺 Meta 和 OpenAI 是主角，Anthropic 闷声吸纳了卡帕西，OpenAI 联合创始团队成员多有流失。
她拒了贝索斯，离开黄仁勋，只为回答一个问题：AI能学会物理世界吗？
近日，AI初创公司Accelerated Understanding亮相，由Anima Anandkumar夫妇创立。它未随主流，目标是训练模拟物理现象的通用AI模型。该模型处理数据规模大，公司想解决AI验证瓶颈，产品面向科研工程机构。
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。