搜索：多模态先验提示

「多模态先验提示」共找到 1397 篇相关文章

最近新出现的两个提示词注入攻击场景

随着AI应用广泛，提示词注入攻击场景增多。一是Checkpoint发现带注入攻击的恶意软件，与AI分析系统对抗；二是多所大学论文含面向AI的秘密指令，对抗AI审稿。本质是攻防双方的对抗，且会持续。

未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。

俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。

人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。

本文介绍间接提示词注入攻击（IPIA），它于2023年5月被认定，通过恶意三方数据攻击，适应性广。文中阐述攻击过程、方法，还以Mavy GPT日历泄露为例说明，指出虽有防护但攻击仍会持续。

面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。

提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。

OpenAI Codex热度飙升，很多用户从Claude code转投其怀抱。它在响应式和移动端前端开发表现出色，文中给出像素游戏、工作管理平台等4个官方前端提示示例及中英文表述。

继提示工程后，「上下文工程」在硅谷爆火，获Karpathy等大佬青睐。它是「全新的氛围编程」，是智能体成败关键。其范畴广，是科学也是艺术，为LLM构建上下文能解决定制任务。

AI时代，上下文工程正兴起。它是构建动态系统，为LLM提供合适信息和工具以完成任务。随着应用复杂度增加，提供完整结构化上下文比提示词更重要，正成AI工程师重要技能。