搜索：自监督预训练

「自监督预训练」共找到 3062 篇相关文章

阿里、南开大学发布免训练，视频大模型创新压缩方法

视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。

Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。

8月13日，DeepSeek开放DeepSeek Harness v0.1开发者预览版，在Github获4.5万星。它提出“一切皆插件”概念，核心组件可插拔。还联合北大提出Cordis框架，解决组件插拔问题，但面临价格与组件膨胀挑战。

AI画图速度慢，过往主流加速方法有局限。MrFlow团队提出三阶段流水线，在Qwen - Image等模型上实现10倍以上端到端加速，生成效果好，优势显著，还能与时间步蒸馏叠加，且完整开源。

6月初英伟达发布面向Windows系统个人电脑的全新超级芯片RTX Spark，宣告进军个人电脑核心处理器市场，微软站台，众多PC厂商支持。英特尔是AI PC概念提出者，但英伟达入局后其显得被动。此外，高通、AMD、苹果等也在布局，AI正走向个人计算设备。

OpenAI最高层拉响「红色警报」，准备砍掉边缘项目，全面退守编程与企业市场主赛道。此前其「全面押注」策略导致资源内耗，而Anthropic专注企业和编程市场取得成功，Claude Code年化收入超25亿美元。OpenAI反击，Codex用户量提升。

OpenAI与博通战略合作，2026年下半年推进研发，将部署100亿瓦定制AI芯片系统。这标志其从算力采购转向定义，是摆脱英伟达依赖的标志事件，推动AI芯片市场进入新格局。

DeepMind在Veo 3论文中提出帧链CoF概念，类比语言模型CoT，让视频模型能时空推理。实验显示Veo 3有通用视觉理解能力，能零样本解决视觉任务，未来通用视频模型或取代专用模型。

菲尔兹奖得主陶哲轩就职的UCLA科研经费被冻结，个人研究及应用数学研究所IPAM失去资金支持，还遭网友质疑其学术成果价值。他开新帖以“压缩感知”研究为例，力证数学研究回报，并将视野扩展到AI大模型。

视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。