搜索：多模态提示框架

「多模态提示框架」共找到 2885 篇相关文章

工具增强的多模态LLM综述

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

ManiUniCon是多进程机器人控制框架，为操作任务设计。有模块化设计、多机器人支持等特性，介绍了架构、支持的硬件、安装方法、使用方式、开发途径及可用工具等内容。

视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。

Noma Labs披露Salesforce Agentforce的“ForcedLeak”链式漏洞，攻击者串联“提示注入”致敏感数据外泄。ESET也报告AI勒索软件PromptLock。Prompt正转向Context，Prompt工程师或失业，价值向能组织语境流程者转移。

智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。

Anthropic在官方文档上线Claude 4.x提示工程指南，针对4.5系列模型优化。介绍基本原则、长期推理和状态跟踪方法、沟通风格，还给出特定场景指导及迁移考虑，助你发挥Claude 4.x实力。

HexStrike-AI是安全研究员开发的开源攻击框架，2025年7月起在GitHub免费提供。它基于MCP协议，集成LLM与150多种工具，可自动化渗透测试和漏洞发现。曾被网络犯罪分子利用，能加速攻击流程，展现强适应和并行化能力。

谷歌发布Gemini能源消耗研究报告，称处理中位数文本提示能耗低，2024 - 2025年能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑方法论，指出未算间接用水、碳排放核算不全等问题。

文章介绍Agent框架的三个主流协议。MCP解决AI Agent和外部工具交互问题，获三大巨头支持；A2A促进独立Agent间通信，但MAS系统不成熟致其未普及；AG-UI解决AI Agent与前端应用交互标准化问题。