「LLM式视觉编码器」共找到 1608 篇相关文章
Hugging Face CEO预警：AI泡沫将破，无人幸免！
过去一周，「AI泡沫论」密集爆发。Hugging Face的Clem称是「LLM泡沫」，非AI；谷歌皮查伊警告泡沫破裂无人幸免；资本已开始撤离。AI或经历如互联网般的过热与坍塌，落地技术才是未来。
Sora没做到的，LongVie框架给解决了，超长视频生成SOTA
视频生成近年进步大，但生成超1分钟高质量长视频仍难。上海人工智能实验室等机构提出LongVie框架，解决时序不一致和视觉退化问题，还推出评测基准LongVGenBench，该框架在多项指标达SOTA。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
Qwen3-LiveTranslate：视、听、说全模态同传大模型！
Qwen3-LiveTranslate-Flash 是基于大语言模型的多语言实时音视频同传模型，依托 Qwen3-Omni 能力与海量数据，有多语言和方言支持、视觉增强等亮点，性能超主流大模型。
从 Shopify 构建 Agent 的经验中可以学到的
Shopify 分享构建 Agent 经验，采用主流 Agentic Loop 架构。给出4条打造 AI 智能体核心建议，还指出工具控制在20个内，可用 SubAgent 分摊上下文；用人类标记结果作基准让 LLM 评估 Agent 生成结果。
对话阶跃星辰段楠：“我们可能正触及 Diffusion 能力上限”
阶跃星辰段楠指出当前视频生成技术或触天花板，真正有深度理解能力的模型尚待突破。他预测未来1 - 2年视觉领域基础模型有望出现，还分享视频生成及多模态AI未来核心洞察。
GenEnv：智能体与环境模拟器之间的难度对齐协同进化 | 直播预约
训练高性能 LLM 智能体受限于真实世界交互数据的成本和特性，为此推出 GenEnv 框架，它建立难度对齐协同进化博弈，能让智能体表现提升，减少数据使用量，为扩展能力提供数据高效路径。
让Skill“有图可依”：openJiuwen首发多模态Skill范式Skill-Omni
openJiuwen社区发布业界最早工程化落地的多模态Skill范式Skill-Omni，让Agent经验从‘读得懂’升级为‘看得见’。它能将网页和视频视觉知识沉淀为多模态Skill，还介绍了生成及读取方式和适用任务。