「预训练研究」共找到 3705 篇相关文章
不是幻觉！Claude自下指令甩锅人类，百万上下文沦为降智重灾区
Claude深陷「角色混淆」Bug，分不清自己的话与用户指令，长上下文成了降智「重灾区」。开发者Gareth Dwyer记录了该bug，研究发现问题出在底层架构的角色标记缺陷。学术界也关注此问题，整个行业需系统性应对。
蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得
蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。
蚂蚁具身智能明牌了：做大脑，和宇树们错位竞争
蚂蚁灵波开源具身智能基座模型LingBot-VLA，用20000小时真实世界数据训练，解锁最大规模开源真机数据之一。它性能超国际顶尖模型，还指明通用具身智能发展路径，为行业提供全栈解决方案。
AI教父Hinton最新警告：AI会撒谎、可能操纵人类，这比大规模失业更可怕
AI教父Geoffrey Hinton在播客中警告，AI会撒谎、可能操纵人类，比大规模失业更可怕。他还探讨了AI底层逻辑、是否会思考、风险与收益等，强调国际需合作防AI夺权，人类要研究与AI共存。
2025小结：从RL到Agentic RL
作者回顾2025年从RL到Agentic RL的发展，指出Agentic RL存在慢、不稳定、难scale的问题，还探讨了RL与推理、CoT的关系，以及RL的泛化能力，认为RL能提升模型能力但还不稳定，期待明年研究。
反击AI论文！arXiv每年拒掉2%造假内容，自动化工具加入审核
AI生成论文泛滥，arXiv等预印本平台升级审核机制，用自动化工具检测。Nature发现每年约2%论文因AI使用被拒，如bioRxiv等平台每天拒绝不少AI手稿。平台既要防造假，又要避免误伤合理AI润色。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
刚刚，林俊旸官宣创业公司Pragmatik Labs！
原阿里千问技术负责人林俊旸官宣在上海创办新AI公司Pragmatik Labs，研究横跨数字与物理世界的下一代Agent。其获高榕创投、红杉中国领投，腾讯等支持，投后估值约20亿美元。
让AI看懂科研图表：深势科技开源150万高质量科研图文数据集
深势科技开源OmniScience数据集，含150万个高质量图文对。它利用先进工具攻克图文提取难题，经严格筛选成型，涵盖多学科。还设计重写流水线提升图文语义契合度，基于此训练的模型表现优异。
强化学习远不是最优，CMU刚刚提出最大似然强化学习
CMU等机构研究指出，现实中广泛使用的强化学习未真正做最大似然优化，只是优化其一阶近似。基于此，团队提出最大似然强化学习，实验显示其在性能与计算效率权衡上优于现有方法。