「视频预训练」共找到 3034 篇相关文章
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
Karpathy「疯狂之作」：100美元、4小时，就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」，以不到8000行代码复现ChatGPT全流程，只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
长视频生成可以回头看了！牛津提出「记忆增稳」，速度提升12倍
牛津大学团队提出VMem，把「看过什么」写进几何小片，用基于3D几何的记忆索引替代短窗上下文，实现「一致性更强、资源更省、速度更快」，实测速度比常规管线快约12倍。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
爆肝一周看6小时长视频，解读AI时代程序员价值几何
作者花一周看完Lex Fridman对丹麦传奇程序员DHH的6小时访谈。DHH分享编程经历，谈对流行技术看法，认为AI不能取代人类创造力，还谈及创业、开源等观点，展现深刻认知与独特态度。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。