「大模型预训练」共找到 9479 篇相关文章
大模型开发实战从入门到入坑：动手写一个MCP Server去理解MCP背后的技术原理
文章聚焦MCP协议，介绍其是规范应用向大模型提供上下文的开放协议，能让模型调用接口更简单、实现开发解耦。还深度解析技术原理，手把手教从0到1实现MCP Server，助读者理解背后技术。
训练数据爆减至1/1200！清华&生数发布国产视频具身基座模型，高效泛化复杂物理操作达SOTA水平
清华大学与生数科技联合研发Vidar模型，首次让通用视频大模型长出‘手脚’，实现从虚拟到真实世界物理执行的跨越。它降低数据门槛，突破跨本体泛化困境，为服务机器人应用奠定基础。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
4B模型幻觉抑制能力超越GPT-5，CMU等提出行为校准强化学习新方法
大语言模型幻觉问题是部署难题，CMU等研究人员提出行为校准强化学习新方法，重新设计奖励函数。经训练，40亿参数模型幻觉抑制力超GPT - 5，实验证明该方法效果显著，还带来理论洞察。
LLM的下一战：从狂卷数据到精算数据
大模型竞争核心正从比拼数据规模转向数据使用效率和风险管理。文章分享2025两篇论文，介绍高效训练和机器遗忘两赛道，前者有数据价值飞轮5大模块，后者提出三时段分类法、三层次遗忘及评价指标全景。
CVPR 2026 | 让AI视频不再「串戏」：免训练精准控制多段动作，SwitchCraft一招破解逻辑崩坏
随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。
SIGGRAPH 2026 | 无需训练，一段单目视频解锁任意运镜与「子弹时间」
来自UIUC、宾大与Netflix Eyeline Labs的研究团队提出FreeOrbit4D，无需训练模型，用单目视频就能实现任意运镜和“子弹时间”。它通过“前景补全的4D重建”提供几何支架，在大角度视角变化下表现出色，还带来诸多应用。
刚刚，OpenAI Astra核心架构爆出：大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法，该技术能降本提效，但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题，并给出Scaling Law。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。