「多模态训练」共找到 2848 篇相关文章
用“蒸汽机”生成视频，还能音视频一体化交付？
8月21日百度营销发布百度蒸汽机2.0，含多版本，有声版可音视频一体化交付。经测试，其生成视频细节佳、运动规律合理。它能解决影视业诸多痛点，成本低，还可免费使用。
强化学习+MCP=王炸？开源框架教AI在MCP中玩转工具解决任务，实测效果超越GPT！
科技公司OpenPipe提出全新开源强化学习框架MCP·RL，只需一个MCP Server地址，agent就能自动发现工具、生成任务，在闭环反馈中摸索出最优调用策略，实测在2/3的benchmark上达或超SOTA性能。
演讲生成黑科技，PresentAgent从文本到演讲视频
联合团队提出 PresentAgent，能将长篇文档转化为带解说演示视频。采用模块化流程，还引入 PresentEval 评估框架。实验显示其接近人类表现，优于现有方案，展现了多模态智能体潜力。
Agent创业者的天塌了，OpenAI发布ChatGPT Agent
昨晚OpenAI发布ChatGPT Agent，这让Agent创业者紧张。它整合多种能力，功能强大，支持多操作。新模型经强化学习调优，在多基准测试中表现佳，或挤压初创公司通用Agent赛道空间。
一键实现PPT演讲自由！「解说音频+视频」同步生成，效果逼近真人
澳大利亚与英国研究人员提出文档到演示视频生成任务，推出PresentAgent系统。它能将长文档转为带语音和同步幻灯片的视频，流程可控且适应多领域。实验显示其生成视频接近人类表现，还设计了双路径评估策略。
谷歌T5Gemma重燃架构之战！「套壳」反杀Gemma本尊，9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。
ICML spotlight | 一种会「进化」的合成数据！无需上传隐私，也能生成高质量垂域数据
大模型发展使数据短缺问题加剧，特殊领域更严重。为此提出合成数据自主进化框架PCEvolve，只需少量标注样本，就能在保护隐私同时进化出数据集，还介绍了其架构、选择器设计及实验结果。
微软研究院BioEmu登上Science，用生成式AI重塑蛋白质功能研究
7月10日，微软研究院AI for Science团队在《Science》发表成果，提出生成式深度学习模型BioEmu，结合多类数据训练，能模拟蛋白构象变化，有多项核心创新，已开源，未来将拓展应用场景。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
奶牛版 Oura 估值 10 亿美金，AI+PDF 让它拿了 1700 万美金融资
市场上多数AI PDF产品是ChatPDF模式，用于C端。企业关键非结构化数据多在PDF等传统载体中，难以获取。硅谷工程师做的Extend AI产品，获1700万美金融资，解决传统文档处理难题，打造平台。