搜索：视觉指令微调

「视觉指令微调」共找到 1141 篇相关文章

继Anthropic后，Google放出5个常用的Agent Skill设计模式

Google Cloud发布指南，总结五种Agent Skill设计模式，含完整ADK代码示例，如Tool Wrapper、Generator等。各有应用场景且可组合，能避免将复杂指令塞在system prompt，构建可靠agent。

香港城市大学与华为香港研究所合作推出 Pusa 项目，它基于 FVDM 理论，可极低成本微调大规模预训练视频模型，成本降超 200 倍、数据减少超 2500 倍，代码已开源。

文章介绍从零训练ChatGPT级别大模型的全流程、高昂成本，指出这对多数企业不现实。建议企业战略从构建转向应用，通过租用API或微调开源模型利用大模型，将专有数据视为核心资产。

上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。

在辅助驾驶领域，端到端的VLA方法虽有效果，但面临中间层语言难以准确表达物理世界细节的问题。小鹏汽车去掉“语言转译”环节，推出第二代VLA，有跨代级驾驶体验，背后是底层技术架构重构。

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

多轮视觉问答成LVLM推理效率“照妖镜”，现有压缩方法在多轮场景翻车。浙大宋明黎教授团队与阿里联合提出MetaCompress框架，可根据图像生成最优压缩映射，实验验证其效果优，能平衡压缩率与精度。

复旦大学等团队推出OmniLottie框架，利用创新分词技术将视频、图文指令变成高质量矢量动画。团队还打造数据集MMLottie - 2M，构建测试基准MMLottie - Bench。实验显示，OmniLottie在多任务测试中优势明显。

Thinking Machines Lab推出首款产品「Tinker」，这是专为语言模型微调而生的API，让开发者摆脱底层架构束缚，用简单Python代码专注创新。它功能强大，目前免费私测，已获普林斯顿、斯坦福等团队使用。

视频生成近年进步大，但生成超1分钟高质量长视频仍难。上海人工智能实验室等机构提出LongVie框架，解决时序不一致和视觉退化问题，还推出评测基准LongVGenBench，该框架在多项指标达SOTA。