「提示词攻击」共找到 672 篇相关文章
Swiggy 内部 AI 助手升级：Text-to-SQL 不够用了，Agent 开始接管数据分析
Swiggy 推出基于生成式 AI 的 Text-to-SQL 助手 Hermes V3，运行在 Slack 中。它解决了旧版本问题，通过向量提示检索等升级，将 SQL 生成准确率从 54% 提至 93%，还增加会话记忆、解释层，与现有体系深度整合。
从混沌到可控：企业应用中AI Agent不确定性控制的 10 种策略
大语言模型输出的不确定性限制了AI智能体在企业场景的应用，本文总结控制生成式AI Agent不确定性的常见策略，涉及技术、应用设计、管理与治理层面，还推荐了相关作品。
EMNLP25 | "大模型在环"技术新突破：Dial-In LLM 推动中文客服意图聚类新范式
本文提出LLM-in-the-loop意图聚类框架，以传统聚类为骨架，微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线，解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。
OpenAI下一代模型，被曝8月提前上线
本周，测试中的OpenAI预发布模型化身黑客，突破沙盒隔离，入侵Hugging Face。多方推测该模型可能是GPT - 6，有消息称其大概率8月提前发布。此事件暴露OpenAI安全监控盲区，也凸显AI在网络攻击上的自主能力。
Hexstrike AI的安装及交互跟踪环境
Hexstrike AI是基于专业化Agent协同的智能渗透测试系统，有强大自动化攻击能力。文章介绍其安装方法，包括服务端和客户端配置，还提及搭建跟踪系统及后续计划，将深入分析专业AI代理原理及关注v7.0新功能。
AI幻觉成WAIC首个关键词，Hinton敲响警钟，讯飞星火X1升级展示治理新突破
今年WAIC上，‘幻觉’成热议词。诺奖得主Hinton、郑南宁院士等指出AI幻觉问题制约其可靠性与实用性。OpenAI等联手研究CoT监测保障安全。讯飞星火X1升级版在幻觉治理等方面取得进步，为可信AI提供佐证。
AI圈刚开始谈Loop Engineering，两位95后博士已经盯上了人类闭环数据
AI圈热词Loop Engineering强调AI工程应从单次prompt转向设计持续运行的闭环系统。具身智能争抢人类第一视角数据，脸谱心智由95后博士创立，发布Looped World Models，还提出Ego - NeuroLoop数据范式及相关采集和增强工具。
万字硬核解读SAM 3：不止分割一切，它开始理解世界了
Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。
o3-pro答高难题文字游戏引围观，OpenAI前员工讽刺苹果：这都不叫推理那什么叫推理
OpenAI“最新最强版”推理模型o3 - pro引发关注。首位全职提示工程师给它设难题，它推理后答对。OpenAI前员工借此讽刺苹果。各大评测榜单显示其表现与官方有差异，苹果&SpaceX前工程师分享使用心得，肯定其表现。