「语义编码器」共找到 243 篇相关文章
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
阿里Qwen-Image-2.0图像生成与编辑巅峰汇合，超真实、超强图文结合
阿里Qwen - Image - 2.0将生图与编辑能力合二为一。它支持长指令，能精准渲染大量文字，引入物理逻辑让文字呈现真实质感，在生图和编辑上对语义理解和画面重构能力强。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
Apple | 开源视觉语言模型：FastVLM，可手机运行，首token速度提升 85 倍
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题，首 token 输出速度提升 85 倍，引入 FastViTHD 编码器，适配 iOS/Mac 生态，有不同参数量级版本。
登顶Hugging Face论文热榜，LLM重写数据准备的游戏规则
企业数据团队面临数据准备难题，传统方法依赖人工规则，有诸多局限。上海交通大学等机构研究团队综述指出，LLM正推动数据准备从“规则驱动”向“语义驱动”转变，还给出技术选型、评估基准及工程指南。
真可用！美团数字人模型开源，MV、电商等统统拿下
美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
让大模型“吃一堑长一智”，南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem，构建视觉流+逻辑流的双流语义记忆，让模型“从错误中学习”。它能在多模态基准提升模型表现，强模型记忆还可迁移给小模型。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
字节跳动Seed1.5-VL复杂图表精准抽取，Deep Think是多模态未来的主流
文章介绍字节跳动的Seed1.5-VL模型，它能精准抽取复杂图表，处理模糊图片、推理几何题。其由视觉编码器和LLM组成，预训练语料丰富，后训练结合多种方法，推荐在huggingface体验。