「预训练」共找到 2196 篇相关文章
30万被引的AlphaGo之父，创业4个月融资近百亿元！笃信RL实现ASI
4月27日，AlphaGo之父David Silver创办的Ineffable Intelligence获11亿美元种子轮融资，投后估值51亿美元。该公司押注强化学习和自我经验学习，试图挑战大模型主线。未来或采用大模型预训练和强化学习混合路线。
永别了，Sora！奥特曼All in超级App
OpenAI一早关停爆火仅6个月的AI视频APP Sora，包括其开发者版本及ChatGPT内视频功能。奥特曼此举是为打造「超级应用」、为IPO铺路，同时为新模型Spud腾出算力，其预训练已完成，将在未来几周发布。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
参数破万亿！阿里Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布总参数超万亿的Qwen3 - Max - Thinking，预训练数据规模达36T Tokens。在多项权威测试中表现优异，能与顶级闭源模型竞争。引入两项核心创新，千问App等已上新，网友认可其能力与更新速度。
老黄杀入OpenClaw战场！最强开源「龙虾」模型直逼Opus 4.6
英伟达推出新一代开源模型Nemotron 3 Super，专为大规模AI智能体打造，有1200亿参数，推理快、吞吐量高，性能直逼Claude Opus 4.6等。它解决了Agent应用的难题，还开源了相关数据和训练方法。此外，英伟达还在打造NemoClaw开源AI智能体平台。
马斯克说漏嘴了！Claude Opus参数5T，Sonnet 1T
马斯克发帖透露xAI的Colossus 2超算训练模型情况，还回应网友时“手滑”泄露Claude的Sonnet 1T、Opus 5T参数。此外，文章梳理网友对Claude各版本参数的推测，也提到Anthropic未发布模型Claude Mythos。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
中英双语、29项第一、像素级理解：360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。
在「外滩大会·具身智能：从泛化到行动，重塑产业未来」上，这些大牛都说了什么？
9月11日，机器之心联合出品的外滩大会见解论坛聚焦具身智能。多位学界和业界代表分享看法，如孙富春称训练场可破数据瓶颈，江磊指其是新型数据工厂。思辨和圆桌环节探讨技术路线、应用场景等关键问题。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。