「大模型预训练」共找到 9479 篇相关文章
RLPT：腾讯混元在预训练数据上实现自主强化学习
腾讯混元团队发布RLPT，是在预训练数据上应用强化学习的方法，可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力，无需人工标注，在Qwen3 - 4B - Base模型实验中性能显著提升。
WAIC最强亮点：非Transformer离线AI大模型已大规模量产，大模型商业比我们想得更快
在WAIC上，RockAI推出非Transformer离线AI大模型Yan 2.0 Preview，有视觉感知跃升和自主学习能力两大提升。该公司走非Transformer路线，着重场景落地，通过“标杆战略”推动产品量产，未来构想构建“群体智能”世界。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。
“VLA和世界模型都不是终局，会有物理世界独有的模型” | 蚂蚁灵波沈宇军@AIGC2026
在2026中国AIGC产业峰会，蚂蚁灵波沈宇军与李根深度对话。沈宇军指出大模型踩中互联网数据红利，但机器人数据空白。他认为VLA和世界模型非具身智能终局，未来会有物理世界独有的模型。
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型（DeepSeek R1和OpenAI o3 - mini - high）与非推理型（DeepSeek V3和ChatGPT 4o）大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估，结果有差异。
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。
松下发布多模态大模型，文本、图像、音频随意切换
多模态数据处理成热点，但现有模型处理复杂任务有挑战。松下开发多模态大模型OmniFlow，采用模块化设计、多模态引导机制，实验显示其在多任务中有卓越表现。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1，为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据，让模型学会像人一样查证，在多数据集上表现出色。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。
Prompt、Skills、MCP：大模型上下文工程核心链路
文章聚焦大模型上下文工程，介绍了Prompt、Skills、MCP核心链路。Prompt是与模型沟通基础，但其有脆弱、难管等痛点，促使向上下文工程演进；Skills是能力单元，可显式化能力、动态组合；MCP解决能力集成问题，虽有争议但理念重要。