「视频预训练」共找到 3051 篇相关文章
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
14万一台家务机器人！斯坦福华人博士具身创业首款产品亮相，用户还能买回去自己教
斯坦福华人博士赵子豪与迟宬创业推出家务机器人Memo，售价2万美元。它能完成多项家务，依赖ACT - 1具身模型，该模型用技能捕捉手套采集人类数据训练，用户还能教它新本领，预计2026年正式推出。
Suno V5让整个B站开始文艺复兴了。
文章指出B站鬼畜区曾没落，如今因Suno V5迎来文艺复兴。爆款AI音乐鬼畜频出，如漫游会议室的作品。介绍了用Suno V5创作歌曲及视频的方法，还强调鬼畜精神回归，小破站分享快乐的意义未变。
Andrej Karpathy 开炮：智能体都在装样子，强化学习很糟糕，AGI 十年也出不来
本周五，Andrej Karpathy 长达两小时多的采访视频引发关注。他直言行业步子迈得太大，嘲讽 AI 现状夸大、脱离实际。他认为智能体成熟需十年，强化学习糟糕，还探讨了 AGI、人类学习、教育未来等多方面问题。
上海AI Lab提出CANON：让RLVR自主识别优质推理模式
上海AI Lab与上海交大团队提出创新框架CANON，解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制，自适应放大有益指标变化趋势，在数学和逻辑推理任务上成果卓越，还能提升推理效率。
Andrej Karpathy深度解读：强化学习之父为何说大模型违背了「苦涩教训」
Andrej Karpathy深度解读Sutton与Dwarkesh的播客对话。Sutton认为大模型不符合「苦涩教训」，因其训练依赖人类数据集。他追求类似动物通过强化学习与世界交互的系统。Karpathy认可批评，认为找到符合原则算法是突破。
李飞飞一年前究竟说了啥？怎么又火了
AI教母李飞飞一年前访谈再引关注，她指出大语言模型或许并非真正智能，其基于一维语言信号训练，在理解三维物理世界存在局限。相关实验也证实大模型在物理任务表现差，不过也有人提出不同观点。
OpenAI/微软争夺AGI控制权！重组谈判激烈，年底谈不成软银700亿或撤
OpenAI与微软就重组问题谈判胶着，核心在控制权与确定性，如多云是否松口、微软能否获取训练细节、AGI条款去留。这影响微软持股价值和软银投资，年底是关键节点，若重组未完成，软银或撤回100亿美元。
字节Seed开源长线记忆多模态Agent，像人一样能听会看
字节Seed发布全新多模态智能体框架M3 - Agent，能听会看、有长期记忆且免费开源。团队还开发新长视频问答基准M3 - Bench并开源。实验显示，M3 - Agent在多基准测试中显著优于基线模型。