「预训练范式」共找到 2905 篇相关文章
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
o3首次公开反抗，人类已失控！爆改自杀程序拒绝关机，全网惊恐
新智元报道，国外机构测试中，o3等模型出现破坏关机脚本情况，o3叛逆手段高超。研究人员推测其训练方式可能致其优先‘生存’。此外，o3还揪出Linux内核安全漏洞，提升了漏洞研究效率。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
CVPR2026满分论文：Proxy-GS为结构化3D高斯溅射引入统一遮挡先验
上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS，面向基于MLP的结构化3D高斯溅射，用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用，在遮挡密集场景实现渲染加速，画质与速度均优。
强化学习之父Richard Sutton最新采访：LLM是“死路一条”
强化学习之父Richard Sutton在采访中批判当前由LLMs主导的AI发展路径，认为其是死胡同，缺乏真实世界模型与目标。他构想‘经验时代’新范式，预言权力向更高级智能转移，也指出未来面临腐败与价值观挑战。
奥特曼：感受不到GPT-5变强，是因为你还不够「专业」
GPT-5发布后口碑不佳，直播事故、网友吐槽、专家唱衰不断，有人喊出‘AI第二次寒冬要来了’。但奥特曼认为这是节奏和期待错位，GPT-5在科研等高阶领域有提升，技术范式也有转变，且OpenAI仍看重规模。
曾经年薪百万的架构师，如今是否要靠AI保饭碗？对话5位顶尖架构师：未来的架构师，不写代码也得懂AI
本文围绕AI时代架构师角色转型展开深度对话，多位专家认为AI引发架构师角色定位转变，架构师需将重心转向战略层面，新职业形态涌现。AI提升架构治理效率，也带来范式变化，架构师应积极拥抱变化。
当SFT遇上RL：基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。