「多模态Skill」共找到 1274 篇相关文章
Agent/Skills/Teams 架构演进过程及技术选型之道
文章结合作者实践与多篇论文，梳理Agent架构从单点提示词调用到Agent Teams的演进逻辑，分析Single Agent、Multi - Agent、Agent Skills、Agent Teams的优劣，给出架构选型建议，强调架构应与问题复杂度匹配。
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
Qoder Skills 完全指南：从零开始，让 AI 按你的标准执行
文章介绍Qoder Skills，它是强大AI定制方式，像菜谱让AI按标准执行。阐述本质、结构、原理，对比与其他工具差异，说明适用场景、安装方法，还有实战演示、编写规范、测试迭代及团队协作等内容。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
verify-data：一个端到端的数据验数 Agent Skill
本文介绍端到端数据验证 Agent Skill——verify-data，它能自动完成从表结构获取到报告发布全流程，将传统手工验数升级。文章从多方面展开介绍，还给出未来演进方向，为开发者提供参考。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。
AI 行业悄悄统一了一件事：Agent Skills 开放标准全解析
Agent Skills 是一套开放标准格式，超 30 家主流 AI 开发工具已采纳。它结构简洁，有精妙的三层加载机制，解决了 AI Agent 上下文窗口问题。与 MCP 解决不同层面问题，生态正快速成型。