「生成式预训练」共找到 4004 篇相关文章
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。
没想到 50 岁了我开始手搓小游戏：灵光闪现
作者池建强分享AI领域“生成涌现”现象，以Gemini 3.0演示为例，又介绍蚂蚁集团的灵光App，其闪游戏功能让普通用户用一句话生成小游戏，能修改迭代，体现AI构建系统能力，创作平权或到来。
终于不用羡慕老外了！美团竟然做出了类似V0&Bolt的AI编程神器
美团推出零代码应用生成工具NoCode，类似V0&Bolt。它功能强大，能生成复杂网页应用，支持提示词生成、自动优化、快速部署等，还自带数据库服务，免费且无需邀请，为国内Vibe Coding带来曙光。
图生视频新玩法刷爆外网：图上画两笔就能动起来，终于告别文本提示
Higgsfield AI 是专注 AI 视频生成的初创公司，近期发布 Draw-to-Video 和 Product-to-Video 功能，前者画图形元素就能生成视频，后者可拖拽生成广告视频。它还常上新功能、集成热门模型，官网功能模板丰富。
补齐OpenClaw进化拼图！AReaL v1.0开源，智能体强化学习「一键接入」
2026 年 Agent 仍是热门赛道，OpenClaw 热度持续。但 Agent 强化学习训练缺乏成熟体系。蚂蚁和清华联合打造的 AReaL v1.0 开源，实现 Agent 一键接入 RL 训练，还革新了训练引擎，降低开发门槛。
豆包背后的“超算大脑”：字节ByteRobust系统跑20多万张GPU，性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025，部署于超20万张GPU平台，9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障，由控制和数据平面构成，能自动发现修复故障，提升训练效率与稳定性。
所有大模型，都学物理学：北大物理系一篇研究，震撼了AI圈
北大等机构团队跨界用物理学最小作用量原理，提出新颖方法估计 LLM 生成方向性，揭示其背后‘物理定律’。发现 LLM 生成有细致平衡现象，还能用物理指标给大模型画像，让 AI 研究提升到‘物理科学’高度。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。