「预训练研究」共找到 3718 篇相关文章
突破LLM数据瓶颈：Meta等提出语言自我博弈，一台模型，两个角色，无限进化
Meta等团队提出“语言自我博弈”（LSP）框架，让语言模型自己和自己“玩游戏”，在无外部数据输入下自我改进。实验显示，其性能可媲美甚至超越用大量人类数据训练的模型，为缓解数据稀缺提供新思路。
Cursor新模型，你怎么还在套Kimi？马斯克你怎么还吆喝上了？？
Cursor模型更新至Composer 2.5，测评成绩亮眼，性能接近Claude Opus 4.7，价格仅为其1/10。该模型以Kimi打底，在训练栈上做了改进。此外，Cursor与马斯克达成算力合作，走上自研之路。
十二大顶尖大模型决战华尔街与量化投资
文章解读重磅论文，该研究汇聚五家顶级AI厂商十二个大模型，在标普500指数十一大板块构建投资组合并测试。结果表明，混合智能策略是稳健收益最佳路径，未来量化投资是人机和量化模型三元融合。
1B参数，0.21秒识别，0.3%错字率：混元OCR拿下7项SOTA
腾讯开源模型 HunyuanOCR 在权威榜单 OmniDocBench 上霸榜，虽仅 1B 参数，却在 7 项任务击败众多大模型。它解决传统 OCR 流水线及通用大模型痛点，通过独特架构和训练方法实现高效准确识别。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
GPT-5波折超乎想象！奥特曼连夜回应一切：4o重新上阵，团队紧急补救
GPT-5发布后引争议，网友看法不一。奥特曼回应将全面更新，如翻倍ChatGPT Plus用户使用限额等。OpenAI团队在AMA问答中也解答诸多问题，包括让4o回归、研究多模型并用等。
大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准
现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
74岁“酒鬼”教授终于拿诺贝尔化学奖了
今年诺贝尔化学奖授予北川进、理查德·罗布森和奥马尔·M·亚吉，以表彰他们在MOF上的杰出贡献。MOF是一种金属有机框架材料，有特殊多孔结构，可用于收集水、捕获二氧化碳等。北川进被称为PCP之父，他的研究源于对酒的热爱。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。