「预训练研究」共找到 3691 篇相关文章
当大模型陷入幻觉循环，如何用工程化给它“立规矩”？
普林斯顿和伯克利研究定义“机器胡扯”，指出大模型胡扯问题。蚂蚁集团旗下蚂蚁密算在2025 WAIC提出高阶程序（HOP）框架，为大模型注入规则，还开源此框架，其在多行业场景应用效果良好。
ImageNet作者苏昊被曝任教复旦
ImageNet作者之一苏昊被曝要去复旦任教。他是具身智能领域论文被引次数最高的华人学者，主导多个奠基级项目。他研究从语言到2D、3D视觉，再到机器人，还创办具身智能公司Hillbot。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
Learn to Reason _ The way of Baichuan-M1-ClinicReasoning
前百川智能研究小组负责人阎栋分享大语言模型临床推理。回顾推理技术发展，以Deepseek为例；介绍百川在医疗推理实践，模型达三甲主治水平；还谈及大模型训练困境及与人类智能差异。
国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5
蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。
“掩码即武器”，四款扩散LLM全部破防 ？ 上交&上海AI Lab发现dllm致命安全缺陷
上海交通大学、上海人工智能实验室等团队研究指出，扩散语言模型（dLLMs）有根本性架构安全缺陷。他们提出DIJA攻击框架，能让多个dLLMs大概率生成有害内容，还呼吁从多方面加强dLLM安全。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。
AI幻觉成WAIC首个关键词，Hinton敲响警钟，讯飞星火X1升级展示治理新突破
今年WAIC上，‘幻觉’成热议词。诺奖得主Hinton、郑南宁院士等指出AI幻觉问题制约其可靠性与实用性。OpenAI等联手研究CoT监测保障安全。讯飞星火X1升级版在幻觉治理等方面取得进步，为可信AI提供佐证。
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练（Post-training）技术，介绍其核心价值，从微调、强化学习、测试时拓展三方面展开，分析现有技术瓶颈，指出前沿研究方向，还给出实践指南和工具链推荐。
Muon作者仅用一篇博客，就被OpenAI看中了
Keller Jordan 2024 年 12 月 8 日发布博客提出用于神经网络隐藏层的优化器 Muon，能提升训练速度。他未发论文，称只信速通。其案例显示 OpenAI 重能力。博客对前沿指标描述或过时，Muon 有诸多实证成果。