「预训练策略」共找到 2847 篇相关文章
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
顶会具身辩论赛实况：徐丹飞激辩，PI连输三轮，谷歌大佬倒戈
2026年RSS大会workshop圆桌讨论上，五位专家围绕世界模型落地展开辩论。辩题有世界与策略模型该合体还是分开、世界模型可控性靠像素还是动作、训练数据靠互联网人类视频还是具身机器人数据。最终各方有输赢也有共识。
30万被引的AlphaGo之父，创业4个月融资近百亿元！笃信RL实现ASI
4月27日，AlphaGo之父David Silver创办的Ineffable Intelligence获11亿美元种子轮融资，投后估值51亿美元。该公司押注强化学习和自我经验学习，试图挑战大模型主线。未来或采用大模型预训练和强化学习混合路线。
永别了，Sora！奥特曼All in超级App
OpenAI一早关停爆火仅6个月的AI视频APP Sora，包括其开发者版本及ChatGPT内视频功能。奥特曼此举是为打造「超级应用」、为IPO铺路，同时为新模型Spud腾出算力，其预训练已完成，将在未来几周发布。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
中英双语、29项第一、像素级理解：360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。
在「外滩大会·具身智能：从泛化到行动，重塑产业未来」上，这些大牛都说了什么？
9月11日，机器之心联合出品的外滩大会见解论坛聚焦具身智能。多位学界和业界代表分享看法，如孙富春称训练场可破数据瓶颈，江磊指其是新型数据工厂。思辨和圆桌环节探讨技术路线、应用场景等关键问题。
参数破万亿！阿里Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布总参数超万亿的Qwen3 - Max - Thinking，预训练数据规模达36T Tokens。在多项权威测试中表现优异，能与顶级闭源模型竞争。引入两项核心创新，千问App等已上新，网友认可其能力与更新速度。