搜索：多模态提示框架

「多模态提示框架」共找到 2825 篇相关文章

Anthropic 提出透明度框架以保障前沿 AI 发展

Anthropic提出新透明度框架，针对大型AI公司，实施安全开发框架评估并减轻潜在风险，要求公开披露SDFs和系统卡片，小型公司豁免，还设执行合规条款，旨在平衡安全与创新。

AI助手积累海量多模态数据，记忆和提取成瓶颈。北卡罗来纳大学等团队用AutoResearchClaw让AI 72小时完成多模态记忆系统设计，性能提升超400%，新系统OMNIMEM全面碾压现有主流系统。

多模态模型推动人工智能向现实渗透，多模态智能硬件形态更多样。不同阵营玩家在这一热门赛道竞争，AI手机、机器人、智能眼镜等受关注，近半年还有新型精细形态智能硬件涌现。

Gemini模型行为产品负责人Ani Baddepudi与谷歌AI Studio产品负责人探讨Gemini多模态技术，涉及设计理念、应用及发展方向。指出多模态对构建AGI重要，还介绍Gemini 2.5视频理解亮点与‘万物皆视觉’理念。

大模型应用从简单问答转向复杂智能体系统，技术焦点正从提示工程转向上下文工程。上下文工程核心是为大模型提供恰当信息与工具，其重要性日益凸显，且与提示词工程有明显区别。

当前LLM存在‘过度思考’困境，效率与成本矛盾突出。快手与南大合作推出HiPO框架，通过混合数据冷启动和混合强化学习奖励系统，让模型能自主决策思考模式，实验显示它提升了效率和准确率，还具强泛化性。

Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。

文章围绕 Agent Protocol 展开，指出框架更迭但生产级 Agent 系统问题不变。以 Agent Protocol 为主线拆分 Agent Runtime，探讨其核心、稳定对象、执行模型等，还对比各框架在多维度的表现并给出设计建议。

上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。