搜索：LLM越狱算法 - AI Reading Hub

「LLM越狱算法」共找到 1493 篇相关文章

《动手写AI Agent》权限与安全：让 Agent 不敢乱来

文章指出LLM不理解操作后果，不加权限的AI Agent如定时炸弹。介绍权限模型设计，采用Deny→Ask→Allow三层过滤；给出权限规则结构，用glob模式匹配工具参数；还解释用glob而非正则的原因。

文章深入解读大模型后训练，先对比 PPO 与 GRPO，指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法，如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性，还提及 GRPO 其他缺陷。

本文探讨 Agent 对软件开发和开发者工作流的影响，以 GitHub Copilot“Agent 模式”构建维基搜索应用为例，对比不同 LLM 模型性能，指出要发挥 Agent 效能，可采用人机协作流程，经验是掌控其成果的关键。

过去，开发者让大模型用数据库查询数据需开发插件等，费时费力且难复用。StarRocks MCP Server 提供通用接口，让 LLM 标准化访问 StarRocks，执行 SQL 查询。MCP 规范模型与上下文交互，其核心组件分工明确。

过去两年，LLM-as-a-Judge成评估界“黄金标准”，但面对复杂任务力不从心。论文《A Survey on Agent-as-a-Judge》指出，应从单一的大模型裁判进化为具备行动能力的智能体裁判，还阐述了其优势、发展阶段等。

OpenAI和Anthropic完成联合评估，用内部工具测对方模型并公开结果。测试覆盖指令层级、越狱等四大领域，还发现不少细节和道德困境情况。此次合作意义重大，为行业树立安全合作先例。

北航刘偲教授团队提出语言引导的细粒度无人机轨迹控制研究框架，定义Flow范式。采用模仿学习法让无人机响应指令，构建数据集和仿真评测基准，还提出协作策略和算法，实现真机部署。

OpenMAIC 是清华开源的 AI 互动课堂平台，能将主题或学习材料快速转化为完整互动学习体验。它把课堂拆成多种交互组件，架构设计出色，支持多 LLM 服务商，还能在聊天应用生成课堂。

65岁的图灵奖得主Yann LeCun年底将离开Meta创业，其新公司专注高级机器智能，教AI理解物理世界。他批评LLM触及天花板，是AI黑洞，多年来坚持世界模型研究，认为其才是通向真正智能之路。

AI Agent浪潮来袭，主流用LLM构建，但英伟达和佐治亚理工学院研究人员论文指出，多数Agent场景中，小语言模型（SLM）已足够强、更好管、更省钱，还给出迁移清单、避坑建议和参考系统形态。