搜索：视频预训练模型

「视频预训练模型」共找到 8436 篇相关文章

世界模型评测的最大盲区，被这个新基准捅破了

过去一年，‘世界模型’成视频生成领域热词，厂商强调产品要模拟真实世界运行规律，但业界评测一直未能精准检验其‘物体恒存’的认知能力。为此，研究者提出新基准MemoBench，测试了主流模型，揭示其短板。

a16z合伙人Martin Casado预告今年最重要的模型发布，线索指向Ilya Sutskever的新模型。SSI成立两年低调发展，获巨额融资，7月与英伟达合作。持续学习是焦点，但相关能力信息有限。

在检索增强生成系统中，稠密检索器是核心组件，但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela，将检索器训练目标统一到语言建模框架，优势明显，实验效果佳。

OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。

腾讯混元团队提出 Multi-Stream Scene Script（MTSS）新视频描述范式，将传统方式升级为‘多流结构化剧本’。它解决了传统方式语义冗余、扩展性差等问题，在视频理解和生成任务表现显著。

随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。

现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。

本文为《2025 年度盘点与趋势洞察》系列访谈，传神语联创始人何恩培分享医疗 AI 发展看法。他认为通用大模型微调成行业模型是伪命题，介绍了传神素问中医大模型应用，还对比中西医 AI 化差异，探讨未来发展场景与挑战。

近期时序预测领域新模型频出，作者开源的 QuitoBench 显示，参数量仅 1M 的 CrossFormer 击败大模型夺冠。它还揭示模型选择与历史数据长度有关，且数据边际收益高于参数。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。