「预训练语言模型」共找到 8362 篇相关文章
李飞飞刚立规矩才13天，国产卡上「真物理」就来了！
李飞飞为「世界模型」立规矩13天后，中国「草根」团队Mogo推出全球首个具备高动态物理交互能力的世界模型Magpie 1.0，在国产芯片上实现超10分钟物理一致性，开辟全新技术路径。
谢赛宁团队用RAE实现从8%到84%的飞跃，宣告VAE时代结束
谢赛宁团队用RAE新架构将ImageNet图像生成FID刷到1.13，宣告VAE组件过时。RAE结合先进表征学习成果与强大生成模型框架，解决诸多问题，还为其高维潜空间定制DiTDH架构，性能优异。
人才黑洞！UC伯克利系主任都加入A社了
UC伯克利EECS系主任Jelani Nelson暂离大学，加盟Anthropic预训练团队。他算法课播放量超2100万，研究聚焦大规模数据高效处理，这正是A社所需，此前他还在谷歌兼职。
MIT这篇RLM论文，给出了Scaling的另一种可能~
当大家普遍认为解决长上下文问题要靠扩大模型上下文窗口时，MIT 最新的 RLM 论文提出新路径。其 code 已开源，能实现无界上下文处理，可让任意大语言模型处理 10 万 +token。
解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架，可从零训练实现任意步数文生图。它改变训练范式，用两条互补训练信号，在GenEval基准表现出色，让文生图训练更灵活且具扩展性。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。
DeepSeek-OCR是「长文本理解」未来方向吗？中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
几分钟扫完细菌全基因组，MIT团队用AI找出大量未知的抗病毒防御系统
MIT科学家开发AI模型DefensePredictor，能从细菌基因组快速找防御系统。用约1.7万个细菌基因组训练，借助ESM2蛋白语言模型，几分钟扫描完一个细菌全基因组，还开源供科学界使用，潜力巨大。