「预训练范式」共找到 2961 篇相关文章
GTC 巅峰对话 Jeff Dean x Bill Dally：预训练范式已死、延迟瓶颈不在计算、谈透 AI 五年未来 | GTC 2026
GTC 2026上，NVIDIA首席科学家Bill Dally和Google Jeff Dean展开重磅对话。讨论了模型能力进步、低延迟推理架构、模型自主进化、数据与算力、训练与推理硬件差别等多方面内容，分享对未来AI的看法与见解。
清华挖出「幻觉」的罪魁祸首：预训练产生的0.1%神经元
清华大学孙茂松团队从神经元角度研究LLM幻觉微观机制，发现不到0.1%的H - 神经元可预测幻觉，与过度顺从行为相关，根源在预训练阶段，为解决幻觉问题、开发可靠大模型提供新思路。
R1/Qwen训练新范式：无需继续训练，直接“算”出权重，提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
RLPT：腾讯混元在预训练数据上实现自主强化学习
腾讯混元团队发布RLPT，是在预训练数据上应用强化学习的方法，可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力，无需人工标注，在Qwen3 - 4B - Base模型实验中性能显著提升。
绝对零监督Absolute Zero：类AlphaZero自博弈赋能大模型推理，全新零数据训练范式问世
清华大学 LeapLab 团队等提出全新推理训练范式 Absolute Zero，使大模型实现「自我进化式学习」。基于此范式训练的模型 AZR，在代码生成与数学推理基准任务表现出色，缓解了大模型对人工数据依赖难题。
GPT-5≈o3.1！OpenAI首次详解思考机制：RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称，GPT-5类似o3.1。他详解模型推理过程，强调RL+预训练是AGI正道，肯定DeepSeek的GRPO算法，还分享自身经历及OpenAI工作结构。
Generalist之后，罗剑岚团队推出LWD，也要变革具身智能训练范式
智元机器人与上海创智学院联合发布全新具身智能训练范式 LWD，可让机器人在真实世界部署中持续自主改进。它打破传统 AI 静态模式，构建数据飞轮，在四大维度创新，经测试表现出色，或成具身智能转折点。
3个月融资亿元，流形空间证明世界模型也需要预训练 | 甲子光年
2025年5月武伟创办流形空间，成立3个月获亿元融资。他认为VLA是过渡方案，世界模型是AGI新基建。当下技术分显式物理建模和隐空间交互两派，流形空间做具身世界模型，从预训练做起，还将领域模型产品化。
前OpenAI科学家&GPT之父：预训练精准数据过滤，极低成本削弱大模型危险能力数千倍
Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。