「视频预训练」共找到 3048 篇相关文章
小扎「梦之队」首批论文上线！LLM自举进化，单步性能狂飙22%
Meta超级实验室MSL新论文探索用强化学习微调大语言模型。提出探索迭代（ExIt）法，基于RL自动课程学习，训练仅需单步任务，模型学会多步自我改进。在MLE - bench上，ExIt相对GRPO提升约22%。
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
Qwen负责人转发2025宝藏论文，年底重读「视觉领域GPT时刻」
2025年末，Qwen大模型技术负责人林俊旸转发谷歌DeepMind入选ICCV 2025的论文，指出视觉领域“GPT时刻”要来了。研究用实验数据证明，视频模型正跳出任务专属局限，实现一个模型完成多视觉任务，推理过程还能被CoF“演”出来。
GLM-5正式发布，744B参数，对标Claude
GLM-5正式发布，对标Claude，参数从355B扩至744B，预训练数据增加。采用GlmMoeDsa架构，部署成本降低。数据表现佳，在多测试中成绩亮眼，还能直输Office文档，部署支持多框架和国产芯片，早期反馈积极。
Gemini 2.5 Pro 负责人：最强百万上下文，做好了能解锁很多应用场景
谷歌DeepMind长上下文预训练联合负责人Nikolay Savinov在播客中分享Gemini 2.5长上下文技术。他认为长上下文能革新产品交互，与RAG协同，未来千万级token上下文将成标配，但当前百万级未达完美时扩规模意义不大。
被“网暴”两个月后，Yann LeCun 携最新世界模型杀回！小扎千万美元激励抢人，Meta AI 内部权利之争开始
Meta推出新的“世界模型”V-JEPA 2，可提升AI物理推理能力。它是V-JEPA扩展版，在百万小时视频上训练，能让机器人完成任务。Meta还发布三项基准测试，且已开源。LeCun力挺，小扎为追进度亲自招人才。
单卡可跑18万原子！分子模拟的“规模焦虑”该终结了
至知创新研究院UBio团队发布的UBio-MolFM v1.5，是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升，实测中表现优于经典力场，架构、数据和训练都有创新，误差降45%，速度提8倍，现已开源。
高性能计算群星闪耀时
本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
禁令之下，黄仁勋再用“阉割芯片”抢夺中国市场
美国芯片出口管制冲击英伟达，其在中国市场损失大、份额降。黄仁勋计划7月推‘阉割芯片’B20、B40/B30抢市场。不同客户有选择倾向，同时国产GPU有机会也面临难题，企业还尝试海外训练模型。