搜索：大模型预训练

「大模型预训练」共找到 9487 篇相关文章

DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍

扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。

OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。

长期以来，机器人系统多依赖专有模型，场景变化时需重新训练。如今具身智能步入下半场，它石智航通用具身大模型AWE3.7用同一颗“具身大脑”贯通多场景，回应了通用泛化命题。

上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。

英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。

英伟达ARC - AGI 2中，4B小模型NVARC以27.64%成绩力压GPT - 5 Pro登顶，单任务成本仅其1/36。亮点是零预训练深度学习法，还靠合成数据、测试时微调等策略。小模型特定领域优化后优势明显。

DeepSeek R1/V3作者俞星凯开源轻量级vLLM——Nano - vLLM。它有快速离线推理、代码可读、含优化套件等特性，还给出了RTX 4070等硬件和Qwen3 - 0.6B模型的基准测试配置。

S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。

英伟达科学家Jim Fan发布文章《第二代预训练范式》指出，当前以LLM为代表的AI模型基于「对下一词的预测」，在物理世界应用中「水土不服」，第二代范式应是「预测下一个物理状态」，引发机器学习社区讨论。

香港科技大学（广州）与地平线研究团队提出 VGGT4D，无需训练，通过挖掘 Visual Geometry Transformer 注意力层运动线索，在动态物体分割等任务表现优异，为 4D 重建提供新思路。