「视频数据集」共找到 3402 篇相关文章
视频字幕处理开源神器
卡卡字幕助手(VideoCaptioner)操作简单,无需高配置,支持 API 和本地离线语音识别,利用大语言模型处理字幕。它支持多平台视频下载处理,有专业语音识别引擎,能智能纠错、高质量翻译、调整字幕样式。
数据邪修大法好:仅用文本数据就能预训练多模态大模型
多模态大模型研发中,行业认为无图文对就无多模态能力。但ReVision研究表明,预训练阶段昂贵配对关系非必需,利用非配对数据统计信息修正文本表征,能实现跨模态互换,降低成本。
无法蒸馏的美国市场,谁在分食 Frontier Labs 百亿美金预算?
本文围绕美国数据市场展开,分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要,但外部数据公司份额难线性外推;真实世界数据成新热点,各细分领域格局和投资方向不同。
GraphQA:用自然语言对话分析图数据
图数据常见但分析门槛高,需懂算法和代码。NetworkX 算法多却复杂,普通用户难上手。GraphQA 搭建桥梁,用自然语言接口替代复杂 API,智能选算法,继承 NetworkX 优势还解决易用性问题。
VLM会描述视频,却未必用对参考图:RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner,强化模型对参考图识别感应能力、优化输出格式与奖励函数;还构建 MRVBench 评测基准,实验显示其表现优异。
字节推出全新视频换装框架DreamVVT
视频虚拟试穿技术受关注,但现有方法有局限。字节推出DreamVVT框架,基于扩散变换器,分两阶段试穿,能应对多种复杂场景,不过也存在依赖遮罩、复杂动作表现不稳定等问题。
The Batch: 869 | 编码助手的训练数据
研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法,从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本,成果免费开放,有望改进 AI 辅助编程模型。
视频理解新标杆,快手多模态推理模型开源:128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5,其有时序定位、描述和推理能力,跑分领先。采用三段式架构和Slow-Fast编码策略,经四阶段预训练和多阶段后处理,团队成果多,推动多模态技术落地。
偷数据的AI公司被抓到了
Reddit发现AI公司利用Wayback Machine开放性,绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限,还起诉过违规公司。Reddit抵制该行为,宣布限制Wayback Machine索引其内容。
从数据分布视角,重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链(CoT)推理。指出CoT并非真正推理,而是模仿,其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化,提醒勿过度依赖。