「预训练研究」共找到 3718 篇相关文章
GLM-5正式发布，744B参数，对标Claude
GLM-5正式发布，对标Claude，参数从355B扩至744B，预训练数据增加。采用GlmMoeDsa架构，部署成本降低。数据表现佳，在多测试中成绩亮眼，还能直输Office文档，部署支持多框架和国产芯片，早期反馈积极。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
Gemini 2.5 Pro 负责人：最强百万上下文，做好了能解锁很多应用场景
谷歌DeepMind长上下文预训练联合负责人Nikolay Savinov在播客中分享Gemini 2.5长上下文技术。他认为长上下文能革新产品交互，与RAG协同，未来千万级token上下文将成标配，但当前百万级未达完美时扩规模意义不大。
单卡可跑18万原子！分子模拟的“规模焦虑”该终结了
至知创新研究院UBio团队发布的UBio-MolFM v1.5，是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升，实测中表现优于经典力场，架构、数据和训练都有创新，误差降45%，速度提8倍，现已开源。
RL在Agentic Reasoning中的作用：拨开迷雾，看清本质
近年大语言模型在推理任务能力惊人，但使用外部工具存挑战。传统SFT无法让模型自主调用工具，强化学习虽被引入，但在智能体推理中面临训练效率、稳定性和泛化能力难题。论文从多维度解构智能体强化学习，提出有效方法。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
禁令之下，黄仁勋再用“阉割芯片”抢夺中国市场
美国芯片出口管制冲击英伟达，其在中国市场损失大、份额降。黄仁勋计划7月推‘阉割芯片’B20、B40/B30抢市场。不同客户有选择倾向，同时国产GPU有机会也面临难题，企业还尝试海外训练模型。
6.1B激活，三榜开源第一！蚂蚁·安诊儿医疗大模型发布
由浙江省卫生健康信息中心等联合研发的开源医疗语言模型AntAngelMed发布。它基于Ling - flash - 2.0，100B总参数仅激活6.1B达约40B密集模型性能，在多个权威医疗基准测评中居前列，采用三阶段训练流程，高效MoE架构。
xAI解散，但Grok还在上新，马斯克官宣新模型
xAI 解散、大批成员离职后，马斯克透露 Grok 最新模型进展，参数量 1.5T 的 Grok V9 - Medium 已完成训练，预计两到三周内发布。他还宣布现有 0.5T 模型年底前开源，此外首款编码智能体 Grok Build 也备受关注。
AutoResearch实战：让AI自己训YOLO，mAP从0.729到0.773
本文作者复盘用AutoResearch训练YOLOv8模型全过程。先介绍其要素框架，选YOLOv8 + NEU - DET做实验，经V1轻量验证后升级到V2完整闭环，64轮实验后mAP从0.729提至0.773，还总结工程结论并给出迁移场景建议。