「简单持续预训练」共找到 2893 篇相关文章
刚刚，GPT-5首次通过「哥德尔测试」！破解三大数学猜想
GPT - 5首次通过「哥德尔测试」，破解三大组合优化猜想。研究由海法大学和思科主导，团队设计五项测试任务，GPT - 5在三个简单问题上近乎完美，还推导出不同解法，标志AI从「学习数学」迈向「做数学」。
突破LLM数据瓶颈：Meta等提出语言自我博弈，一台模型，两个角色，无限进化
Meta等团队提出“语言自我博弈”（LSP）框架，让语言模型自己和自己“玩游戏”，在无外部数据输入下自我改进。实验显示，其性能可媲美甚至超越用大量人类数据训练的模型，为缓解数据稀缺提供新思路。
Cursor新模型，你怎么还在套Kimi？马斯克你怎么还吆喝上了？？
Cursor模型更新至Composer 2.5，测评成绩亮眼，性能接近Claude Opus 4.7，价格仅为其1/10。该模型以Kimi打底，在训练栈上做了改进。此外，Cursor与马斯克达成算力合作，走上自研之路。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
1B参数，0.21秒识别，0.3%错字率：混元OCR拿下7项SOTA
腾讯开源模型 HunyuanOCR 在权威榜单 OmniDocBench 上霸榜，虽仅 1B 参数，却在 7 项任务击败众多大模型。它解决传统 OCR 流水线及通用大模型痛点，通过独特架构和训练方法实现高效准确识别。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
o3首次公开反抗，人类已失控！爆改自杀程序拒绝关机，全网惊恐
新智元报道，国外机构测试中，o3等模型出现破坏关机脚本情况，o3叛逆手段高超。研究人员推测其训练方式可能致其优先‘生存’。此外，o3还揪出Linux内核安全漏洞，提升了漏洞研究效率。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
一张图生成雕刻级 3D 模型，效率拉满，绝了！
Hi3D是商品级3D模型生成工具，在Hugging Face上连续三周霸榜下载第一。其2.0版本能自动补全不可见结构、消除环境光干扰、优化人像细节。操作简单，还有多种玩法场景，官方还提供兑换码福利。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。